Computer Network Anomaly Detection in University Environment

Lukáš Švarc

Doctoral thesis

Detekce anomálií v počítačových sítích v univerzitním prostředí

Abstract:

Po řadě úspěšných kybernetických útoků na instituce ve veřejném sektoru, které proběhly v posledních letech, bylo jasné, že je nutné zvýšit úroveň ochrany počítačových sítí i v univerzitním prostředí. Pro detekci známých útoků existuje celá řada komerčních řešení založená na technologiích firewallů, antivirů nebo systémů IPS, avšak pro detekci neznámých útoků jsou možnosti těchto nástrojů značně omezeny. Metody detekce anomálií založené na strojovém učení představují takřka jedinou možnost ochrany proti těmto neznámým typům útoků. Hlavním cílem této práce je adaptovat vybrané metody detekce anomálií pomocí technik strojového učení s učitelem za účelem zvýšení bezpečnosti informačních systémů v univerzitním prostředí. Specifika univerzitního prostředí a jeho odlišnosti od typického byznys prostředí jsou podloženy rozhovory s IT experty z Vysoké školy ekonomické v Praze, University of Granada a Athens University of Economics and Business, a také dotazníkem zaměřeným na práci s informačním systémem vyplněným více než dvěma tisíci studenty a zaměstnanci Vysoké školy ekonomické v Praze. Na základě podepsání NDA byly shromážděny logy z provozu informačního systému za období 2016–2020. Tato data prošla anonymizací a díky zachyceným reálným útokům v nich obsažených byly definovány tři nejběžnější typy útoků v univerzitním prostředí: Simple Automated Attack, Advanced Automated Attack a Cyber Attack. Následně byl vytvořen syntetický generátor datasetů z univerzitního prostředí. Tento generátor vytváří logy informačního systému a vkládá do nich parametrem určené množství útoků vybraného typu, což může posloužit jako zajímavý nástroj pro ostatní výzkumníky univerzitního prostředí z celého světa. Vybrané konvenční metody strojového učení s učitelem, a to konkrétně logistická regrese a Deepnets, byly otestovány v univerzitním prostředí pomocí syntetického generátoru dat. Vzhledem k tomu, že Deepnets dosáhly lepších výsledků, byla následně navržena adaptovaná Deepnets metoda s obohaceným datasetem (ADED), která dosahuje u typických útoků v univerzitním prostředí ještě lepších výsledků. Ověření závěrů práce proběhlo na reálných historických datech za poslední rok (2022) provozu informačního systému Vysoké školy ekonomické v Praze. Metoda ADED byla natrénována na kombinovaném datasetu, který byl vygenerován syntetickým generátorem dat z univerzitního prostředí a obsahoval vzorky skutečných útoků z let 2016-2020. Použití ADED metody a předzpracování univerzitního datasetu vedlo k identifikaci potenciálních kybernetických incidentů, které v době jejich provedení nebyly žádným bezpečnostním mechanismem detekovány. Výsledky byly verifikovány a potvrzeny ve spolupráci s experty z Centra Informatiky VŠE. Osmnáct z dvaceti tří identifikovaných kybernetických incidentů detekovaných metodou ADED bylo experty potvrzeno. Všechny součásti popsané v této práci posloužily jako metodologický základ pro projekt Hellhound AI, který v rámci Vysoké školy ekonomické v Praze vznikl, zejména ve spolupráci mě a kolegy Ing. Pavla Strnada. Z důvodu rozsahu tohoto projektu byla s kolegou vyžadována úzká spolupráce, která se promítla i do našich disertačních prací, kde zdrojová data a některé jejich části byly výstupem společné práce.

Abstract:

After several successful cyber-attacks on public sector institutions recently, it became clear that it was necessary to increase the level of protection for computer networks in university environment as well. While there are a number of commercial solutions based on firewall, antivirus or IPS technologies for the detection of known attacks, the capabilities of these tools are very limited for the detection of unknown attacks. Anomaly detection methods based on machine learning are essentially the only option for protection against these unknown attacks. The main objective of this thesis is to adapt selected anomaly detection methods using supervised machine learning techniques in order to enhance the security of information systems in the university environment. The specifics of the university environment and its differences from a typical business environment are supported by discussions with IT experts from Prague University of Economics and Business, University of Granada, and Athens University of Economics and Business, as well as by a questionnaire focused on working with the information system completed by more than two thousand employees and students at the Prague University of Economics and Business. Following the signing of the NDA, logs from the information system's traffic were collected for the period 2016–2020. This data was anonymized, and the captured attacks contained helped define the three most typical types of attacks in the university environment: Simple Automated Attack, Advanced Automated Attack, and Cyber Attack. Subsequently, a synthetic dataset generator for the university environment was created. This generator creates information system logs and inserts a parameterized number of attacks of a selected type, which could serve as an interesting tool for other researchers of the university environment worldwide. Selected conventional supervised machine learning methods, specifically Logistic Regression and Deepnets, were evaluated in the university environment using a synthetic dataset generator. Since Deepnets achieved better results, an adapted Deepnets with enriched dataset (ADED) method was proposed, achieving even better results for typical attacks in the university environment. The conclusions of the thesis were validated by analyzing historical data from the last year of operation (2022) of the information system at the Prague University of Economics and Business. The ADED method was trained on combined dataset, which was generated by synthetic dataset generator for the university environment and contained samples of real attacks from 2016-2020. By utilizing the ADED method and preprocessing the original university dataset, potential cybersecurity incidents were identified that had not been detected by any other security mechanism at the time of their execution. These results were verified and confirmed in collaboration with experts from the Informatics Centre at the Prague University of Economics and Business. Eighteen out of twenty three identified cybersecurity incidents detected by the ADED method were confirmed by experts. All the components described in this thesis served as a methodological basis for the Hellhound AI project, which was developed within the Prague University of Economics and Business, mainly in collaboration between myself and my colleague, Ing. Pavel Strnad. Due to the scope of this project, close collaboration was required, which was reflected in our dissertations, where the source data and some parts were the result of joint work.

Keywords

detekce anomálií, strojové učení s učitelem, síťová bezpečnost, informační systémy, univerzitní prostředí

Keywords

Supervised Machine Learning, Anomaly Detection, Network Security, Information Systems, University Environment

Language used: English

Date on which the thesis was submitted / produced: 1. 5. 2023

Thesis defence

• Date of defence: 15. 6. 2023
• Supervisor: Jiří Ivánek
• Reader: Tomáš Čejka, Alberto Fernández, Petr Hanáček

Vysoká škola ekonomická v Praze

Doctoral programme / field:
Aplikovaná informatika / Aplikovaná informatika