Automated Generation of Vulnerability Descriptions Using Local LLMs for Penetration Testing Reports

Bc. Matúš Maťaš

Diplomová práce

Anotace:

Táto diplomová práca sa zaoberá návrhom a hodnotením systému na automatizované generovanie štruktúrovaných nálezov zraniteľností s využitím Large Language Models (LLMs). Teoretická časť opisuje úlohu takýchto modelov v kybernetickej bezpečnosti a metódy ich adaptácie. Praktická časť sa zaoberá prípravou trénovacej sady odvodenej z reálnych výsledkov penetračných testov, implementáciou dvoch odlišných systémov založených na LLM a ich porovnaním. Prvý systém je založený na lokálne hostovanom modeli Gemma 3, ktorý bol fine-tuned. Druhý systém využíva model Claude Sonnet 4 hostovaný partnerskou firmou, ku ktorému sa pristupuje prostredníctvom API. Oba systémy sú rozšírené o funkcie volania nástrojov na získavanie externých údajov o zraniteľnostiach. Praktickým výsledkom tejto práce je funkčný proces, ktorý mení neštruktúrované poznámky a identifikátory zraniteľností na štruktúrované nálezy.

Abstract:

This master’s thesis addresses the design and evaluation of a system for automated generation of structured vulnerability findings in pen- etration testing reports leveraging Large Language Models (LLMs). The theoretical part describes the role of such models in cybersecurity, methods for their adaptation including prompt engineering, retrieval- augmented generation and fine-tuning, and the challenges specific to penetration testing report generation. The practical part covers the preparation of a training dataset derived from anonymized real-world penetration testing reports, the implementation of two distinct LLM- based systems, and their comparative evaluation. The first system is based on a locally hosted Gemma 3 model fine-tuned on the pre- pared dataset. The second system utilizes an enterprise-hosted Claude Sonnet 4 model accessed through a company provided API without fine-tuning, relying solely on prompt engineering. Both systems are extended with tool-calling capabilities to retrieve external vulnera- bility data from the National Vulnerability Database and other web sources. The practical result of this work is a functional pipeline that trans- forms unstructured penetration tester notes and vulnerability iden- tifiers into structured security findings aligned with organizational reporting standards. A comparative evaluation across matched vul- nerability inputs demonstrates that both systems produce structurally coherent findings, while revealing systematic differences in severity calibration and contextual reasoning. The API-based Claude Sonnet 4 implementation is identified as the more suitable solution for team deployment due to its behavioral stability and lower operational over-head.

Keywords

large language models, penetration testing reports, CVE, findings, fine-tuning, dataset, prompt engineering, vulnerability description

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 17. 6. 2026
• Vedoucí: Ing. Katarína Galanská
• Oponent: Ing. Dávid Halász

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Řízení softwarových systémů a služeb / Řízení kyberbezpečnosti