Využití technologie Elastic Stack pro sběr a analýzu logů

Pavla Řádková

Bachelor's thesis

Use of Elastic Stack technology for log collection and analysis

Abstract:

Tato bakalářská práce se zabývá technologií Elastic Stack jakožto světově nejrozšířenější a nejpopulárnější technologií pro účely sběru logů a jejím praktickým využitím právě pro automatický sběr logů ze serveru a následnou analýzu pomocí nástroje Kibana, který je součástí Elastic Stacku. Nejdříve je teoreticky popsán proces logování a jeho důležitost, včetně komunikace protokolu HTTP, následuje teoretický popis technologie Elastic Stack (součástí je Elasticsearch, Logstash, Kibana a Beats), poté pokračuje práce částí, která je věnovaná konkrétní konfiguraci jednotlivých nástrojů sady Elastic Stack v praxi a praktickým ukázkám využití Elastic Stacku s důrazem na nejvyužívanější možnosti nástroje Kibana pro zjišťování dat a jejich vizualizace. Cílem práce je prozkoumat technologii Elastic Stack a následně usnadnit monitorování serveru a namísto nečitelných logů, kterých ze serveru chodí mnoho, definovat časté kritické momenty (např. chybová stránka 404 nebo 500) a vytvořit v Kibaně vizualizace, které vývojáři nebo analytikovi jednoznačně a okamžitě ukáží, jak často k danému problému došlo ve vybraném čase. Také je cílem ukázat, jak může být celý proces logování zjednodušený, když jsou využity možnosti automatického logování.

Abstract:

This bachelor thesis deals with the Elastic Stack technology as the world's most widely used and the most popular technology for purposes of logging and its practical use for automatic log collecting from the server and subsequent analysis using the Kibana tool, which is part of the Elastic Stack. First, the logging process, including HTTP communication, and its importance is theoretically described. Then the section with a theoretical description of Elastic Stack (including Elasticsearch, Logstash, Kibana, and Beats) follows. The third section of this thesis is dedicated to the description of the particular configuration of each tool of Elastic Stack in practice and practical demonstrations of the use of Elastic Stack, with emphasis on the most widely used data acquisition and visualization capabilities of Kibana tool. The aim of the bachelor thesis is to explore Elastic Stack and to facilitate the monitoring of the server and to define frequent critical moments (for example 404 or 500 error page) and to create visualizations in Kibana that clearly and immediately show to the developer or analyst how often the problem occurred in the selected time period. However, the aim is also to show how the entire logging process can be simple when using automatic logging.

Keywords

Elastic Stack, Elasticsearch, analýza logů, Kibana, log, Filebeat, logování, Logstash

Keywords

Elastic Stack, Elasticsearch, Filebeat, Kibana, log analysis, log file, logging, Logstash

Language used: Czech

Date on which the thesis was submitted / produced: 10. 2. 2019

Thesis defence

• Date of defence: 20. 6. 2019
• Supervisor: Jan Pokorný
• Reader: Vilém Sklenák

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Aplikovaná informatika / Informační média a služby