Detect Anomalies in Linux Kernel Logs

Mgr. Ondrej Klinovský

Master's thesis

Anotácia:

Linux kernel je jeden z najväčších open source projektov na svete a podporuje nespočetne veľa zariadení a architektúr. Testovanie kernelu na všetkých takýchto zariadeniach vyžaduje veľa úsilia nielen na pripravenie riadnej infraštruktúry, ale aj efektívne monitorovanie chýb. Cieľom tejto práce je využit strojové učenie pre detekovanie anomálií v logoch generovaných Linux kernelom. Niektoré anomálie je možné detekovať jednoduchými metódami, napríklad hľadaním slov ako "warning" alebo "error", nie vždy je však takýto prístup dostatočný.

Abstract:

The Linux kernel is one of the largest open source projects in the world and it supports countless devices and various architectures. To test that the kernel functions correctly on these devices requires huge effort not only to setup proper infrastructure for testing but also be able to effectively spot failures and act upon them. The goal of this thesis is to employ anomaly detection methods to find anomalies in logs generated by the Linux kernel. While some anomalies can be found relatively easily without employing any sophisticated tools, e.g. looking for keywords like "warning" or "error", this is not always the case.

Keywords

Linux, anomaly, logs parsing, machine learning, LSTM, pytorch, Deeplog, Dablog, GCC, GCC plugin, Python, Drain, anomália, parsovanie logov, strojové učenie

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 13. 12. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 1. 2023
• Vedúci: RNDr. Adam Rambousek, Ph.D.
• Oponent: Ing. Adam Okuliar

Masaryk University

Faculty of Informatics

Master programme / odbor:
Computer systems, communication and security / Hardware systems