Feature Engineering for Unsupervised Anomaly Detection in Data Loss Prevention Systems

Bc. Tomáš Březina

Bakalářská práce

Anotace:

Systémy pro prevenci úniku dat (DLP) chrání organizace před neoprávněným přenosem dat. Tradiční DLP systémy založené na pravidlech jsou rigidní a obtížně se vypořádávají s dosud neznámými hrozbami. Strojové učení, konkrétně detekce anomálií bez učitele, se ukázalo jako slibný přístup k řešení těchto omezení. Výkon jakéhokoli modelu strojového učení však do velké míry závisí na kvalitě vstupních příznaků. Tato práce zkoumá, jak různé techniky přípravy příznaků ovlivňují účinnost modelů detekce anomálií bez učitele aplikovaných na záznamy souborových operací v DLP systémech, přičemž tyto techniky hodnotí na konkrétní úloze snižování falešně pozitivních upozornění. Práce vznikla ve spolupráci se společností Safetica a.s. s využitím reálného datasetu obsahujícího více než 363 000 souborových operací. Podmnožina 684 vysoce rizikových operací byla manuálně anotována doménovými experty. Bylo navrženo a vyhodnoceno třináct konfigurací přípravy příznaků, přičemž nejprve byly testovány jednotlivé skupiny příznaků izolovaně a následně byly postupně kombinovány různé techniky škálování, kódování a extrakce příznaků. Každá konfigurace byla testována se čtyřmi algoritmy detekce anomálií bez učitele: Extended Isolation Forest, Local Outlier Factor, K-Nearest Neighbors a Autoencoder. Výsledky ukazují, že příprava příznaků je klíčová, neboť modely na nezpracovaných datech dosahovaly výkonu blízkého náhodnému. Aplikace vhodných transformací příznaků však výrazně zlepšila schopnost modelů identifikovat skutečná rizika. Většina konfigurací úspěšně snížila počet falešně pozitivních upozornění, některé z nich výrazně. Zjištění dokládají, že neexistuje jediná sada příznaků, která by fungovala nejlépe pro všechny modely, což zdůrazňuje důležitost testování více přístupů.

Abstract:

Data Loss Prevention (DLP) systems protect organizations against unauthorized data transfers. Traditional rule-based DLP systems are rigid and struggle with unseen threats. Machine learning, and specifically unsupervised anomaly detection, has emerged as a promising approach to address these limitations. However, the performance of any machine learning model depends heavily on the quality of its input features. This thesis investigates how different feature engineering techniques affect the effectiveness of unsupervised anomaly detection models applied to DLP file operation logs, evaluating these techniques on the specific task of reducing false positive alerts. The work was conducted in collaboration with Safetica a.s. using a real-world dataset of over 363,000 file operations. A subset of 684 high-risk operations was manually labeled by domain experts. Thirteen feature engineering pipelines were designed and evaluated, first testing individual feature groups in isolation and then progressively combining various scaling, encoding, and feature extraction techniques. Each pipeline was tested with four unsupervised algorithms: Extended Isolation Forest, Local Outlier Factor, K-Nearest Neighbors, and Autoencoder. The results show that feature engineering is crucial, as the models performed close to random on raw data. However, applying proper feature transformations greatly improved their ability to identify real risks. Ultimately, the majority of configurations successfully reduced the number of false positive alerts, some of them significantly. The findings demonstrate that no single set of features works best for every model, highlighting the importance of testing multiple approaches.

Keywords

feature engineering, unsupervised anomaly detection, data loss prevention, machine learning, false positive reduction

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 22. 6. 2026
• Vedoucí: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Oponent: doc. RNDr. Jan Sedmidubský, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Programování a vývoj aplikací / Programování a vývoj aplikací