Proudy událostí a nástroje na jejich zpracování

Ing. Jiří Pipek

Diplomová práce

Event streams and event stream processing software

Anotace:

Diplomová práce poskytuje ucelený pohled na proudy událostí, zkoumá technologie a platformy pro jejich uchování i zpracování a identifikuje typické problémy s návrhy na jejich řešení. Klade důraz na platformy Apache Kafka, Azure Event Hubs, Google Cloud Pub/Sub a Amazon Kinesis Data Streams pro uchování událostí a Kafka Streams, Apache Flink, a Apache Spark pro zpracování. Práce obsahuje teoretickou část s přehledem základních konceptů a srovnáním technologií, a praktickou část, kde jsou pomocí vybraných scénářů testovány klíčové funkcionality jako obohacení, filtrace, agregace a transformace proudů dat. Zkoumané nástroje jsou porovnány na základě latence, propustnosti, využití zdrojů a náročnosti vývoje. Výsledky slouží pro základní orientaci v oblasti proudového zpracování událostí, přičemž poukazují na nutnost dalšího testování pro hlubší pochopení vhodnosti technologií pro specifické použití.

Abstract:

The diploma thesis provides a comprehensive view of event streams, explores technologies and platforms for storing and processing them, and identifies typical problems with suggestions for their solution. It emphasizes the Apache Kafka, Azure Event Hubs, Google Cloud Pub/Sub, and Amazon Kinesis Data Streams platforms for event storage and Kafka Streams, Apache Flink, and Apache Spark for processing. The thesis includes a theoretical part with an overview of basic concepts and a comparison of technologies, and a practical part where key functionalities such as enrichment, filtering, aggregation, and data transformation are tested using selected scenarios. The examined tools are compared on the basis of latency, throughput, resource utilization and development effort. The results serve as a basic orientation in the field of stream-based event processing, while pointing to the need for further testing to gain a deeper understanding of the suitability of the technologies for specific applications.

Klíčová slova

Proudy událostí, Apache Kafka, Apache Flink, Apache Spark, Proudové zpracování událostí, Kafka Streams

Keywords

Event streams, Apache Kafka, Apache Flink, Apache Spark, Event stream processing, Kafka Streams

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 15. 4. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 21. 5. 2024
• Vedoucí: Ing. Karel Malý, Ph.D.
• Oponent: prof. RNDr. PhDr. Antonín Slabý, CSc.

Univerzita Hradec Králové

Fakulta informatiky a managementu

Magisterský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika