Enhancing Common Criteria Certificate Analysis with Semantic Segment Search

Bc. Dominik Macko

Diplomová práce

Anotace:

Táto diplomová práca skúma realizovateľnosť použitia sémantického vyhľadávania v PDF dokumentoch pre certifikáty Common Criteria (CC). Štúdia sa zameriava na oblasť certifikácie, s dôrazom na Common Criteria, skúma metódy pre analýzu PDF súborov a popisuje relevantné techniky spracovania prirodzeného jazyka, pričom kladie dôraz na vyhľadávanie informácií a stručne spomína rozšírenú možnosť odpovedanie na otázky. Pre experimenty boli z PDF súborov extrahované koherentné textové segmenty. Experimenty vyhľadávania informácií používajú tri dotrénované modely Bi-Encoder, základný model BM25, hybridné vyhľadávanie a Cross-Encoder pre opätovné radenie výsledkov. Modely sú vyhodnotené pomocou 35 ručne vytvorených dotazov od členov laboratória CRoCS. Relevancia výsledkov modelov bola hodnotená siedmimi anotátormi. Výsledky ukazujú, že sémantické metódy prekonávajú nesémantické prístupy pre Common Criteria PDF dokumenty.

Abstract:

This thesis explores the feasibility of using semantic search within PDF artifacts for Common Criteria (CC) certificates. The study examines the certification landscape, focusing on Common Criteria, investigates methods for parsing PDF files, and describes relevant NLP techniques, emphasizing Information Retrieval and briefly mentioning Question Answering as an extension. For experiments, coherent text segments are extracted from PDF files. Information Retrieval experiments use three fine-tuned Bi-Encoder models, baseline BM25, hybrid search, and a Cross-Encoder for re-ranking. The models are evaluated using 35 manually crafted queries from members of the CRoCS laboratory. The ground truth data is composed of pooled relevance labels from seven annotators. The results show that semantic methods outperform non-semantic approaches for Common Criteria PDF artifacts.

Keywords

Information Retrieval, Natural Language Processing, Semantic Search, Cross-Encoder, Bi-Encoder, embeddings, BM25, PDF, security certification, Common Criteria, sec-certs

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 27. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2024
• Vedoucí: RNDr. Adam Janovský
• Oponent: RNDr. Miloš Jakubíček, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Strojové učení a umělá inteligence