Distribuovaná analýza logů a toků zařízení v počítačové síti

Martin Sisák

Bakalářská práce

Distributed analysis of host logs and flows in computer networks

Abstract:

This thesis is focused on a distributed analysis of host logs and flows in computer networks. The main goal was to extend the functionality of a flow analysis framework Stream4Flow, and to make the network monitoring easier. For this purpose, the stream data processing by Apache Spark was used. A part of the content of this thesis is a Python application, for processing the network data and sending them to the Elastic Stack. It is possible to visualize the analyzed data in the web interface of the framework, in the form of tables and graphs. Implementation was tested on the dataset, with the data from a real computer network.

Abstract:

Práca sa zaoberá distribuovanou analýzou logov a sieťových tokov zo zariadení pripojených do počítačovej siete. Konkrétne rieši rozšírenie frameworku Stream4Flow o novú funkcionalitu a značne uľahčuje celkové monitorovanie siete. Na tento účel bolo využité prúdové spracovanie dát pomocou nástroja Apache Spark. Súčasťou práce je aplikácia v jazyku Python, slúžiaca na spracovanie dát zo siete a ich následné odoslanie do nástroja Elastic Stack. Zanalyzované dáta je možné vizualizovať vo webovom rozhraní frameworku vo forme tabuliek a grafov. Implementácia bola otestovaná praktickým experimentom na sade reálnych dát zo siete.

Klíčová slova

sieťové toky, logy, distribuovaná analýza, Stream4Flow, Apache Spark, Apache Kafka, Elastic Stack, prúdové spracovanie dát

Jazyk práce: slovenština

Datum vytvoření / odevzdání či podání práce: 27. 5. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 26. 6. 2019
• Vedoucí: RNDr. Tomáš Jirsík
• Oponent: Mgr. Stanislav Špaček

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika