Stream-Based IP Flow Analysis

RNDr. Milan Čermák

Doctoral thesis

Anotácia:

Monitorování a analýza síťového provozu hrají klíčovou roli při zajištění správného fungování a kyberbezpečnosti sítě, poskytovaných služeb a jejich uživatelů. Nicméně, jak roste komplexita internetových služeb a narůstá rychlost a objem přenášených dat, tak současné způsoby monitorování a analýzy sítového provozu přestávají být dostačující. Tento problém se projevuje zejména v případě vysokorychlostních a rozsáhlých sítí, jako jsou páteřní, podnikové nebo cloudové. V této práci se zaměřujeme na monitorování síťového provozu pomocí IP toků, jejichž sběr a analýza jsou pro takovéto sítě typické. Přestože jsou IP toky tvořeny pouze na základě agregace vybraných informací ze síťového provozu, tak jejich zpracování stále čelí výzvám spojeným s vysokými výpočetními nároky, dlouhotrvajícími výpočty a velkými požadavky na úložnou kapacitu. V rámci našeho výzkumu se zaměřujeme monitorovací architekturu a její rozvoj pomocí proudového sběru a analýzy IP toků využívající distribuované zpracování dat. Takováto architektura by měla díky efektivní škálovatelnosti umožnit nejen efektivně zpracovat a redukovat velké množství IP toků, ale také provádět analytické operace v téměř reálném čase. Využití distribuovaného zpracování proudů dat nicméně vyžaduje změnu samotného přístupu monitorování a analýzy IP toků, na což se zaměřujeme v našem výzkumu. V této disertační práci nejprve představujeme základní koncept monitorování IP toků založený na dávkovém zpracování dat. Následně popisujeme konvenční metody analýzy síťového provozu se zaměřením na monitorování stavu sítě a detekci hrozeb. V další části analyzujeme současné systémy pro distribuované zpracování proudů dat a navrhujeme nový způsob měření jejich výkonnosti. Tento způsob nám umožňuje vyhodnotit vhodnost těchto systémů pro proudové zpracování IP toků s ohledem na běžné algoritmy analýzy síťového provozu. Na základě porovnání vybraných systémů pro distribuované zpracování proudů dat definujeme proudovou architekturu sběru a analýzy IP toků, kterou následně realizujeme ve formě open-source systému Stream4Flow. Dále navrhujeme nové analytické metody, které využívají výhody proudového zpracování IP toků a rozšiřují stávající možnosti monitorování stavu sítě a detekce hrozeb. Výsledky experimentálního nasazení navržených metod v rámci univerzitní sítě ukazují, že námi navržený přístup proudové analýzy IP toků podporuje rozvoj nových analytických metod, ale skýtá i velký potenciál pro návrh nové generace přístupů monitorování sítě a zajištění její kyberbezpečnosti.

Abstract:

Network traffic monitoring and analysis are of utmost importance to ensure proper management and cybersecurity of the network, its services, and users. Nevertheless, as the complexity of Internet services, transmission speed, and data volume increases, current approaches cease to be sufficient, especially within high-speed and large-scale networks such as backbone, enterprise, or cloud networks. In this thesis, we focus on IP flow monitoring, which is used within such networks. Although IP flows consist only of selected network traffic features, their processing faces challenges of high computational demands, analysis delays, and large storage requirements. To address these challenges, we propose to improve the IP flow monitoring workflow by stream-based collection and analysis of IP flows utilizing a distributed data stream processing. Such an improved workflow allows to not only process and reduce large amounts of IP flow data thanks to efficient scalability, but also provide analysis results in near real time. However, the utilization of distributed stream data processing requires changing the paradigm of IP flow data monitoring and analysis, which is the main goal of our research. In this thesis, we first present IP flow monitoring based on batch data processing, followed by a description of conventional network traffic analysis methods for network monitoring and threat detection. We then analyze distributed stream processing systems, for which we design a novel performance benchmark. The benchmark allows us to determine the suitability of these systems for stream-based processing of IP flow data considering common algorithms for network traffic data analysis. Based on the comparison of selected distributed stream processing systems, we define a stream-based workflow of IP flow collection and analysis, which we also implement as a publicly available and open-source framework Stream4Flow. Furthermore, we propose new analytical methods that utilize the potential of stream-based IP flow data processing approach and extend the capabilities of network monitoring and threat detection. Evaluation results and experiences from a real-world deployment in the campus network show that stream-based analysis of IP flows offer great opportunities to reach a new generation of network monitoring and cybersecurity.

Keywords

Stream Processing, IP Flow, Distributed, Network Traffic, Analysis, Stream4Flow

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 18. 8. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 7. 12. 2020
• Vedúci: doc. Ing. Pavel Čeleda, Ph.D.
• Oponent: Assoc. Prof. Elias Bou-Harb, Ph.D., Assoc. Prof. Anna Sperotto, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / odbor:
Informatics (4-years) / Computer Systems and Technologies