Srovnání metod strojového učení pro identifikaci operačních systémů

Bc. Antonín Dufka

Bachelor's thesis

Comparison of Machine Learning Methods for Operating System Identification

Abstract:

Cílem této bakalářské práce je provést experimentální srovnání metod strojového učení vhodných pro identifikaci operačního systému zařízení pomocí dat z rozšířených síťových toků. Důraz je kladen na měření časových a paměťových zdrojů potřebných pro provedení daných algoritmů strojového učení v závislosti na počtu zpracovávaných datových vzorků. Kvalita výsledků klasifikace je také analyzována a hodnocena standardními statistickými mírami. Experiment srovnává čtyři klasifikační metody strojového učení s učitelem: Decision Tree, k-Nearest Neighbors, Naïve Bayes a Support Vector Machine. Zvolené klasifikátory jsou trénovány a vyhodnocovány na množině dat, založené na jiné, více rozsáhlé, která byla získána z reálného síťového provozu bezdrátových podsítí Masarykovy univerzity. Každý datový vzorek v odvozené množině dat obsahuje čtyři atributy extrahované z polí TCP/IP hlaviček, které jsou použitelné pro rozlišení rozdílných operačních systémů. Výsledky naznačují, že Decision Tree klasifikátor je nejslibnější pro zpracování velkého množstí datových vzorků jak v testovací, tak i v klasifikační fázi. Nicméně, Support Vector Machine klasifikátor by mohl být výhodně použit v menších sítích s menším množstvím síťového provozu, kde může využít své schopnosti lépe generalizovat i na menším množství datových vzorků.

Abstract:

The goal of this thesis is to perform an experimental comparison of machine learning methods suitable for identification of the operating system of a device using data from extended network flows. The focus is laid on the measurement of time and memory resources needed for executing the machine learning algorithms with dependence on the number of processed data samples. Moreover, the prediction performance of the classifiers is analyzed and evaluated using standard statistical measures. The experiment compares four supervised classification machine learning methods: Decision Tree, k-Nearest Neighbors, Naïve Bayes, and Support Vector Machine. The selected classifiers are trained and evaluated on a dataset derived from a more extensive one that comes from real network traffic of Masaryk University wireless subnets. Each data sample in the derived dataset contains four features parsed from the TCP/IP header fields that are usable for differentiating among different operating systems. The findings suggest that the Decision Tree classifier is the most promising for processing a large number of data samples in both training and classification phases. However, the Support Vector Machine classifier could be used beneficially in smaller networks with lesser amount traffic where it can take advantage of its ability to generalize better on a smaller number of data samples.

Keywords

machine learning, passive monitoring, operating system identification, network flows, strojové učení, pasivní monitorování, identifikace operačních systémů, síťové toky

Language used: English

Date on which the thesis was submitted / produced: 28. 5. 2018

Thesis defence

• Date of defence: 26. 6. 2018
• Supervisor: Mgr. Martin Laštovička
• Reader: RNDr. Martin Husák

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Computer Systems and Data Processing