Enhancing Common Criteria Certificate Analysis with Semantic Segment Search

Bc. Dominik Macko

Master's thesis

Abstract:

Táto diplomová práca skúma realizovateľnosť použitia sémantického vyhľadávania v PDF dokumentoch pre certifikáty Common Criteria (CC). Štúdia sa zameriava na oblasť certifikácie, s dôrazom na Common Criteria, skúma metódy pre analýzu PDF súborov a popisuje relevantné techniky spracovania prirodzeného jazyka, pričom kladie dôraz na vyhľadávanie informácií a stručne spomína rozšírenú možnosť odpovedanie na otázky. Pre experimenty boli z PDF súborov extrahované koherentné textové segmenty. Experimenty vyhľadávania informácií používajú tri dotrénované modely Bi-Encoder, základný model BM25, hybridné vyhľadávanie a Cross-Encoder pre opätovné radenie výsledkov. Modely sú vyhodnotené pomocou 35 ručne vytvorených dotazov od členov laboratória CRoCS. Relevancia výsledkov modelov bola hodnotená siedmimi anotátormi. Výsledky ukazujú, že sémantické metódy prekonávajú nesémantické prístupy pre Common Criteria PDF dokumenty.

Abstract:

This thesis explores the feasibility of using semantic search within PDF artifacts for Common Criteria (CC) certificates. The study examines the certification landscape, focusing on Common Criteria, investigates methods for parsing PDF files, and describes relevant NLP techniques, emphasizing Information Retrieval and briefly mentioning Question Answering as an extension. For experiments, coherent text segments are extracted from PDF files. Information Retrieval experiments use three fine-tuned Bi-Encoder models, baseline BM25, hybrid search, and a Cross-Encoder for re-ranking. The models are evaluated using 35 manually crafted queries from members of the CRoCS laboratory. The ground truth data is composed of pooled relevance labels from seven annotators. The results show that semantic methods outperform non-semantic approaches for Common Criteria PDF artifacts.

Keywords

Information Retrieval, Natural Language Processing, Semantic Search, Cross-Encoder, Bi-Encoder, embeddings, BM25, PDF, security certification, Common Criteria, sec-certs

Language used: English

Date on which the thesis was submitted / produced: 27. 5. 2024

Thesis defence

• Date of defence: 19. 6. 2024
• Supervisor: RNDr. Adam Janovský
• Reader: RNDr. Miloš Jakubíček, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence