Systém pro sběr a zpracování velkých objemů monitorovacích dat ze sítě

Bc. Ondřej Chrastina

Master's thesis

System for capturing and processing huge amount of network monitoring data

Abstract:

Tato práce se zabývá systémem pro sber a zpracování velkých objemu monitorovacích dat ze síte. Cílem je navrhnout takový systém, který by dokázal pracovat i se zachycenými daty v rádech nekolika GB. Pritom je kladen duraz na co možná nejrychlejší provedení analýzy monitorovacích dat. Úcelem práce je navrhnout takový systém, který by dokázal data ze síte efektivne zachytávat, prenášet je se zabezpecením na jiné místo v síti a následne provádet operace nad takovými daty. Výsledkem analýzy dat je zobrazení informace o jejich prutoku za jednotku casu uživateli, který k systému pristupuje ze svého webového prohlížece. Práce se nejdríve zabývá rozborem dostupných nástroju a popisem souborového formátu PCAP a NetFlow. Pro efektivní zpracování a omezení vstupních dat je vybrán program tcpdump, následovaný nástrojem captcp, pro zobrazení dat do grafové podoby. Ve druhé cásti je návrh celého systému spolecne s prototypem pro zpracování a analýzu dat ve formátu PCAP. Záver práce je venován podrobnému testování systému a jeho dostupných cástí.

Abstract:

This diploma thesis deals with a system for capturing and processing huge amount of network monitoring data. The goal is to design a system, which would also be able to deal with a large GB files. There is emphasis put on fast analysis of captured data. Thesis designs a system, which is able to capture the data from a network, safely transfer them and then perform an analysis. The result of analysis is displayed in a graph, which shows amount of data flow in a time interval. The result is displayed to user from his web page. First this thesis describes networking tools and file format of PCAP and NetFlow. For effective network analysis are chosen programs like tcpdump and captcp, which modifies data to be displayed in a graph. Second part of this diploma thesis deals with system design together with a prototype for a network process and analysis of a PCAP file format. Conclusion is dedicated to detailed testing of system and his working parts.

Keywords

NetFlow, pcap, tcpdump, wireshark, libpcap, captcp, statistic, throughput, mergecap, preprocessing, filtering, D3.js.

Language used: Czech

Date on which the thesis was submitted / produced: 8. 1. 2014

Thesis defence

• Date of defence: 13. 2. 2014
• Supervisor: RNDr. Michal Procházka, Ph.D.
• Reader: RNDr. Daniel Kouřil, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics