Práce se síťovými toky ve formátu JSON

Jiří Papoušek

Bachelor's thesis

Traffic Flow Processing in JSON Format

Anotácia:

Práce se zabývá návrhem datové architektury pro ukládání dat ze síťových toků a implementací souvisejícího REST API a Python klienta, které poskytují přístup k těmto datům ve formátu JSON. Práce také popisuje různé přístupy k řešení souvisejících klíčových problémů a odůvodňuje výběr použitých řešení. Využití vytvořené architektury je prezentováno na vybraných případech užití nad DNS provozem a je dále porovnáno s alternativním zpracováním těchto případů užití pomocí nástroje Apache Spark.

Abstract:

The thesis deals with the design of data architecture for storing network flow data along with the implementation of related REST API and Python client, which provide access to those data in JSON format. It also describes different approaches to solving related fundamental problems and justifies the choice of the used solutions. The use of the developed architecture is presented on selected use cases over DNS traffic, and it is further compared with the alternative processing of these use cases with Apache Spark.

Keywords

traffic flow, IPFIX, Python, Confluent, Apache Kafka, Apache Spark, REST, JSON

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 26. 5. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2020
• Vedúci: RNDr. Daniel Tovarňák, Ph.D.
• Oponent: RNDr. Martin Laštovička

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Informatics / Computer Systems and Data Processing