Anomalies detection on Kubernetes applications

Bc. Marek Laššák

Master's thesis

Anotácia:

Táto práca skúma aplikáciu vybraných metód pre predikciu časových radov (time series forecasting) v kontexte detekcie anomálií v časových radoch zachytávajúcich využitie výpočtových zdrojov. Konkrétne, dané dáta sú získavané monitorovaním cloud-native aplikácií nasadených v prostrediach založených na technológií Kubernetes. Teoretická časť práce popisuje problematiku nasadenia a monitorovania cloud-native aplikácií, a poskytuje prehľad o relevantných, aktuálne používaných technológiách. Súčasťou teoretickej časti je zároveň predstavenie časových radov a ich špecifických vlastností, spolu so základnými konceptami analýzy a predikcie časových radov. Praktická časť práce popisuje použitú metodiku a vybrané metódy predikcie časových radov, a to konkrétne modely založené na princípe autoregresie a kĺzavého priemeru ARIMA a neurónové siete LSTM. Následne sú popísané implementované procesy na získavanie a spracovanie dát a prácu s predikčnými modelmi, spolu s popisom problémov na ktoré sa počas implementácie narazilo. V praktickej časti je ďalej uskutočnená analýza vzorky reálnych dát zachytávajúcich využitie výpočtových zdrojov, ktorá prezentuje procesy analýzy časových radov na zhodnotenie profilu dát, výber vhodného predikčného modelu a následné vyhodnotenie jeho výkonu. Súčasťou práce je zároveň kvalitatívna analýza vybraných predikčných metód. Uskutočnené analýzy zahŕňajú popisy problémov a odporúčania, ktoré je potrebné zvážiť v kontexte detekcie anomálií založenej na predikcii časových radov. Na základe pozorovaní je práca zakončená diskusiou o aplikovateľnosti a užitočnosti predikcie časových radov pre detekciu anomálií v dátach zachytávajúcich využitie výpočtových zdrojov cloud-native aplikáciámi.

Abstract:

This thesis studies the application of selected time series forecasting methods for anomaly detection on resource usage time series data collected by monitoring cloud-native applications deployed in Kubernetes-based environments. The theoretical part of the thesis outlines the topics of cloud-native application deployment and monitoring, introducing the relevant state-of-the-art technologies. In addition, time series data and the concepts of time series analysis and forecasting are introduced. The practical part of the thesis presents the methodology and the chosen forecasting methods, namely the ARIMA model family and LSTM neural networks, the implementation of the data obtaining and forecasting model-related workflows, and the challenges encountered. A resource usage dataset sample is analysed to showcase the time series analysis processes used to assess the data profile, choose the appropriate forecasting model, and evaluate its capabilities. Following that, a qualitative analysis of the selected forecasting methods is provided. The analyses include the challenges and suggestions to consider in the time series forecasting-based anomaly detection context. Finally, based on the observations, a discussion about the applicability and usefulness of time series forecasting for anomaly detection on cloud-native application metrics is provided.

Keywords

anomaly detection, time series, time series forecasting, ARIMA, LSTM, monitoring, cloud-native applications, Kubernetes, Python, Red Hat

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 20. 6. 2024
• Vedúci: Mgr. Marek Grác, Ph.D.
• Oponent: Ing. Tomáš Coufal

Masaryk University

Faculty of Informatics

Master programme / odbor:
Software Engineering / Design and development of software systems