Zpracování IP toků nástroji Elasticsearch a Kibana

Bc. Jana Němcová, DiS.

Master's thesis

IP Flow Processing Using Elasticsearch and Kibana

Abstract:

Těžiště mé práce spočívá ve zjištění, zda trojici navazujících programů ELK (Elasticsearch, Logstash a Kibana) vytvořených obecně pro zpracování a zobrazení velkých objemů dat lze úspěšně využít i při specifických požadavcích na zpracování IP toků. Aby mohla být zpracovávána i data v reálném čase, musela jsem ale vytvořit propojení sondy a ELKu. Srovnávacím produktem je na IP toky specializovaný Flowmon. Porovnání s programy ELK provádím jak z hlediska funkcí, které podporují (s důrazem na funkce prakticky využívané v CSIRT-MU, HTTP analýzu a síťové útoky), tak i z hlediska vizualizačního. Součástí mé práce je i vytvoření nového vizualizačního rozšíření do Kibany, které vyžaduje specifické požadavky pro zobrazení IP toků.

Abstract:

This thesis focuses if three programs ELK (Elasticsearch, Logstash and Kibana), created for computation of big data, can be also used for specific requirements during IP flows processing. In order to process data in real time it was necessary to make new connection from probe to ELK. Comparative program is special software made only for IP flows – Flowmon Collector. Comparison to ELK is made from point of view of functions that support (with placing emphasis on praxis in CSIRT-MU, HTTP analysis and networks attacks), also from visualization’s viewpoint. Part of this work is also programming extension of new visualization for Kibana that demand specific requirement for displaying IP flows.

Keywords

IP tok, Elasticsearch, Kibana, Logstash, ELK, Flowmon, IPFIX, vizualizace, D3js

Language used: Czech

Date on which the thesis was submitted / produced: 30. 5. 2016

Thesis defence

• Date of defence: 28. 6. 2016
• Supervisor: doc. Ing. Pavel Čeleda, Ph.D.
• Reader: RNDr. Daniel Tovarňák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics