Logování, Monitoring a Alerting za použití ELK Stack

Bc. Tomáš Novák

Master's thesis

Logging, Monitoring and Alerting with ELK Stack

Anotácia:

Práce pojednává o využití nástrojů z rodiny ELK Stack a dalších doprovodných prostředcích, zajišťujících logování v rámci aplikace Logeto. Hlavním cílem je vytvoření logovací infrastruktury v kontejnerizačním prostředí Kubernetes obstarávajícím sběr logů z aplikace Logeto, zasílání varovných zpráv do komunikačního nástroje MS Teams a monitoring interních nástrojů logovací infrastruktury. Řešení fronty zpráv zajišťuje platforma Azure Event Hub. Ke sběru, ukládání a analýze logů je zde využito nástroje Elastic Cloud on Kubernetes a nástroj ElastAlert, ve své kontejnerizované variantě, řeší zasílání varovných zpráv. Kromě popisu jednotlivých komponent a jejich fungování práce obsahuje také konfigurační soubory umožňující replikovat představené řešení. Výsledkem této práce je zavedení funkční logovací infrastruktury nad aplikací Logeto a vyvinutí vlastního ElastAlert modulu pro zasílání personalizovaných varovných zpráv do komunikačního nástroje MS Teams.

Abstract:

This thesis deals with the use of tools from the ELK Stack family and other accompanying tools, providing logging the application called „Logeto“. The main goal is to create a logging infrastructure in the Kubernetes container environment, providing log collection from the Logeto application, sending warning messages to the MS Teams communication tool and monitoring the internal tools of the logging infrastructure. The message queue solution is provided by the Azure Event Hub. The Elastic Cloud on Kubernetes tool is used to collect, store and analyze logs, and the ElastAlert tool, solves the sending of warning messages, both in its containerized variant. In addition to the description of individual components and their operation, there are also configuration files that allow you to replicate a presented solution. The result of this work is the introduction of a functional logging infrastructure over the Logeto application and the development of its own ElastAlert module for sending personalized warning messages to the MS Teams communication tool.

Kľúčové slová

logování, monitorování, varování, ELK Stack, ElasticSearch, Logstash, Kibana, Beats, ElastAlert, Python, Kubernetes, k8s, Docker, Azure Event Hub, Výkaz Práce, infrastruktura logovací, zasílání varovných zpráv, logování aplikací, analýza logů, MS Teams

Keywords

logging, monitoring, alerting, ELK Stack, ElasticSearch, Logstash, Kibana, Beats, ElastAlert, Kubernetes, k8s, Docker, Logeto, logging infrastructure, alert sending, application logging, log analysis, Azure Event Hub, MS Teams

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 27. 4. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 26. 5. 2021
• Vedúci: doc. RNDr. Petra Poulová, Ph.D.
• Oponent: doc. Ing. Filip Malý, Ph.D.

University of Hradec Králové

Faculty of Informatics and Management

Master programme / odbor:
Aplikovaná informatika / Aplikovaná informatika