Nástroj na automatizaci práce se vstupními daty pro Elasticsearch

Bc. Martin Lisý

Master's thesis

Tool for Automation of Input Data Processing for Elasticsearch

Abstract:

The target of the diploma thesis is to create a tool for automation of input network traffic data processing. The data is uploaded to Elasticsearch cluster in order to be visualized. The main idea is to create a tool that allows easily configure the format of the input data for Elasticsearch and relieve the user from the details connected with the data preparation and cleaning. The parts of the tool are the option of creating the configuration files for often used input file formats, the set of transformations over the input attributes (data anonymisation, selection of attributes and their renaming, deleting, stressing the imported time stamp, typographical changes of attributes and setting the range of selected attributes, adding the new attributes, import and export of created configuration files), import of the packet captures (.pcap) and files in JSON format (.json, .txt, .log), or writing the output into selected Elasticsearch cluster.

Abstract:

Cieľom diplomovej práce je vytvorenie nástroja na automatizáciu práce so vstupnými dátami o sieťovej prevádzke. Dáta sa nahrajú do Elasticsearch klastra, aby mohli byť vizualizované. Hlavnou ideou je navrhnúť a vytvoriť nástroj, ktorý umožní jednoducho konfigurovať formát vstupných dát pre Elasticsearch a odbremení tak používateľa od detailov spojených s ich prípravou a čistením. Súčasťou nástroja bude možnosť vytvoriť konfiguračné súbory pre často používané formáty vstupných súborov, množina transformácií nad vstupnými atribútmi (konkrétne anonymizácia dát, selekcia atribútov a ich premenovanie, zmazanie, označenie importovanej časovej značky, typografické úpravy atribútov a stanovenie rozsahu hodnôt vybraných atribútov, pridanie nových atribútov, import a export vytvorených konfiguračných súborov), import tzv. packet captures (.pcap) a súborov vo formáte JSON (.json, .txt, .log), či zápis výstupu do zvoleného Elasticsearch klastra.

Keywords

Elasticsearch, Logstash, Bro Network Security Monitor, Kibana, automatizácia, konfigurácia vstupných dát, transformácia vstupných dát, odtienenie používateľa

Language used: Slovak

Date on which the thesis was submitted / produced: 16. 5. 2016

Thesis defence

• Date of defence: 28. 6. 2016
• Supervisor: doc. RNDr. Tomáš Pitner, Ph.D.
• Reader: RNDr. Tomáš Rebok, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics