Replacing Logstash

Bc. Ondřej Lomič

Diplomová práce

Anotace:

Firma Y Soft používá nástroj Logstash v rámci svého řešení pro zpracování logů, nicméně tento nástroj se ukázal nevyhovující díky jeho vysokým systémovým nárokům a obtížné konfiguraci komplexních funkcionalit. Tato práce se tedy zaměřuje na nahrazení nástroje Logstash lepší alternativou. Nejdříve jsou zadefinovány všechny požadavky, na jejichž základě je provedeno porovnání existujících nástrojů. Žádná vhodná náhrada nicméně nebyla nalezena, proto pro nahrazení nástroje Logstash bylo naimplementováno vlastní řešení. Práce je zakončena detailním porovnáním obou nástrojů. Výsledky ukazují výrazné zlepšení specifikovaných vlastností, v rámci jednoho řádu. Nástroj Logstash byl úspěšně a plně nahrazen ve firmě Y Soft a jádro jeho náhrady bylo zveřejněno a může být dále rozšiřováno.

Abstract:

Y Soft Corporation uses tool Logstash in its log processing pipeline, but it was proved inadequate for its high consumption of system resources and difficulty of configuring complex processing pipelines. Therefore this paper aims to replace Logstash with a better alternative. At first, all requirements for the replacement are specified. Based on those there is a comparison of other existing tools. Because no suitable alternatives were found, a new custom solution was implemented to replace Logstash. Lastly, performance benchmarks were run to compare Logstash and its replacement. The results show a significant improvement of specified properties, in range of an order of magnitude for the measurable ones, while not falling behind in other areas. The tool was successfully used to fully replace Logstash in Y Soft Corporation, while the core is publicly available and can be further expanded.

Keywords

Logstash, stream processing, C++

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 20. 7. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 16. 9. 2020
• Vedoucí: doc. RNDr. Tomáš Pitner, Ph.D.
• Oponent: Mgr. Martin Šalata

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika