Supervised and Unsupervised Machine Learning Methods for System Log Anomaly Detection

Bc. Júlia Ščensná

Master's thesis

Abstract:

Táto práca sa zaoberá implementáciou sady nástrojov, ktoré využívajú algoritmy strojového učenia pre klasifikáciu systémových logov a detekovanie anomálií. Navrhované modely sú postavené na dvoch kategóriách strojového učenia, a to učenie s učiteľom (supervised learning) a učenie bez učiteľa (unsupervised learning). V rámci práce je funkcionalita a správanie vybraných metód vysvetlená teoreticky aj prakticky. Práca zahŕňa porovnanie rôznych knižníc programovacieho jazyka Python, ktoré podporujú prácu s algoritmami strojového učenia. Taktiež sme porovnávali výkon vybraných metód v oblasti systémových logov. Pre jednoduchšiu interpretáciu presnosti modelov sú v rámci práce zahrnuté obrázky s prehľadnými grafmi. Modely, ktoré dosiahli najlepšie výsledky, sú taktiež testované pre automatické rozpoznanie nových vzorov systémových logov.

Abstract:

This thesis deals with implementing toolset that uses machine learning algorithms for system logs classification and anomaly detection. The proposed models are built based on supervised and unsupervised machine learning methods. However, the functionality and behavior of these methods have been explained theoretically and practically in the thesis. Sufficient numbers of simulated plots are included in this thesis to illustrate the accuracy and behavior of those models. Different libraries offered by programming language Python that support working with machine learning have also been explained. Moreover, the thesis compares the performance of selected machine learning methods in the area of system logs. To confirm the workability of proposed models, the group of logs based on unseen log patterns were fed to the best-proposed machine learning models to recognize log patterns automatically and detect anomalies.

Keywords

Machine learning, Supervised methods, Unsupervised methods, Anomaly detection, system log, syslog, Logistic regression, Support vector classifier, Random forest classifier, Naive Bayes, K-means, Gaussian mixture, scikit-learn

Language used: English

Date on which the thesis was submitted / produced: 19. 5. 2020

Thesis defence

• Date of defence: 15. 6. 2020
• Supervisor: RNDr. Radek Ošlejšek, Ph.D.
• Reader: doc. RNDr. Ivan Kopeček, CSc.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics