Detekce anomálií a vizualizace síťového provozu

Bc. Petr Bartel

Master's thesis

Anomaly detection and network traffic visualization

Abstract:

Detekce anomálií v síťových tocích je při zvětšujícím se objemu dat i počítačových útoků klíčová pro provoz sítě a bezpečnost dat v ní přenášených. Argumentem pro použití síťových toků jsou rychlosti přenosu a objem dat na páteřních linkách. Kompletní záznamy pomocí paketů jsou při těchto podmínkách velmi náročné na výkon zařízení. Dostupné nástroje pro analýzu síťových toků často neposkytují automatickou detekci anomálií. NfSen je jednou z open-source aplikací, která slouží primárně pro vizuální analýzu síťových toků. Úkolem práce je vytvoření rozšiřujícího pluginu této aplikace umožňujícího automatickou detekci a vizualizaci síťových anomálií. Práce se zabývá porovnáním dostupných technologií využitelných při návrhu a implementaci pluginu. Kromě vymezení oblasti působnosti pluginu představuje možné alternativní aplikace s podobnou funkcionalitou. S potřebou ukládání velkých objemů dat a rychlého přístupu k nim souvisí přehled databázových řešení a jejich porovnání. Práce přináší návrháři výběr vizualizačních knihoven, přehled jejich funkcionality a praktické ukázky výstupů i konfigurací. Část věnující se představení a srovnání kompresních algoritmů je v práci obsažena z důvodu využití komprese při odhadu entropie IP adres a portů obsažených v síťových tocích. Výstupem práce je praktická implementace pluginu, která staví na dříve představených technologiích, schopná vizualizace a automatické detekce anomálií. Objevené anomálie jsou hlášeny pomocí e-mailu.Funkčnost a výkon pluginu byly ověřeny při testovaní na studentském kolektoru, jehož data pochází z reálného provozu Masarykovy univerzity. Práce tedy potvrzuje možnost automatické detekce a reakce na síťové anomálie pomocí pluginu NfSen a přináší konceptuální podklady pro tvorbu vlastního pluginu.

Abstract:

Anomaly detection in network flows is essential with the ever increasing volume of data and network attacks for an operation of a network and a security of data, which are transferred in it. Arguments for using network flows are a high transfer rate and a volume of data on backbones. In these conditions, complete records based on packet gathering demands on a performance of a device. Available tools for a network flows analysis don't often offer an automatic detection of anomalies. NfSen is one of open-source application, which primarily serves as a tool for a visual analysis of network flows data. An aim of this thesis is a creation of a plug-in for this application which is capable of automatic detection and visualization of network anomalies. The thesis is concerned with a comparison of available technologies usable with a design and the implementation of a plugin. Apart from the definition of a plug-in's scope of activity my thesis also introduces possible alternative applications with similar functionality. An overview of database solutions and their comparison is related to the need of storing large volumes of data fast, as well as, access to them. The thesis offers a selection of visualization libraries, an overview of their functionality and practical demonstration of their outputs and configurations to a designer. Part of the thesis is dedicated to the introduction and comparison of compression algorithms because they are needed to estimate an entropy of IP addresses and ports contained in network flows. Output of this thesis is a practical implementation of the plug-in, which is built on previously introduced technologies, capable of a visualization and automatic detection of anomalies. Detected anomalies are reported via an e-mail. A functionality and throughput of the plug-in were verified with testing on a student's collector, which data comes from a traffic of Masaryk university. The thesis affirms an option of using a NfSen plug-in to an automatic detection and reaction to network anomalies and brings a conceptual materials for creation of your own plug-in.

Keywords

nfdump, NfSen, NetFlow, síťová bezpečnost, vizualizace, anomálie, entropie, komprese

Language used: Czech

Date on which the thesis was submitted / produced: 6. 1. 2012

Thesis defence

• Date of defence: 8. 2. 2012
• Supervisor: RNDr. Jan Vykopal, Ph.D.
• Reader: RNDr. Vojtěch Krmíček, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics