Log management in distributed environment

Bc. Ondřej Lomič

Bakalářská práce

Anotace:

Tato práce se zaměřuje na sběr a zpracování logů v distribuovaném prostředí za pomocí otevřeného softwaru, bez poplatků i pro komerční využití. Hlavním cílem práce je vytvoření systému pro správu logů, který splňuje požadavky kladené běžnými cíli zpracování logů, jakým je například ladění aplikace v produkci. Toho bylo docíleno pomocí návrhu obecné architektury. Ta je rozdělena na komponenty, z nichž každá může být zastoupena nástrojem třetí strany, pokud vybraný nástroj splňuje požadavky kladené na danou komponentu. To je doplněno přehledem vhodných nástrojů. Vybrané nástroje jsou použity pro vytvoření zkušebního systému pro správu logů, který je otestován vzhledem k vybraným požadavkům. Byl vytvořen vlastní software pro otestování vytvořeného systému, který může být zároveň použit pro nasazení a správu daného systému v produkci.

Abstract:

This work focuses on collection and processing of logs in distributed environment with help of open-source, free of charge software. The main goal is to create log management system, which will satisfy requirements of common log management goals, such as debugging in production. That was solved by designing generic architecture. It is divided into components, each component can be substituted with a third-party tool, as long as the tool satisfies requirements of given component. Overview of suitable third-party tools follows. These tools are used for creation of prototype log management system, which is tested for required properties. Custom software named Caribou was implemented to allow testing of prototype log management system, but it can be also used for deploying and managing system in production.

Keywords

logs, architecture design, open-source, distributed system, ELK, Kafka

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 29. 5. 2017

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 6. 2017
• Vedoucí: RNDr. Andrij Stecko, Ph.D.
• Oponent: RNDr. Daniel Tovarňák, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Paralelní a distribuované systémy