Data Streaming Architecture

Ilia Maksimenko

Bachelor's thesis

Architektura Datových Proudů

Abstract:

Rozšíření velkých dat a vznik aplikací v reálném čase vytvořily potřebu škálovatelných a efektivních systémů pro zpracování dat, které dokážou zvládnout velké objemy dat v reálném čase. Vývoj internetu věcí toto posouvá na zcela jinou úroveň; nyní mohou data přicházet k nám v reálném čase a naším cílem je je přenášet bez ztrát, ve správném pořadí a co nejvyšší rychlostí. V této práci autor navrhuje obecnou architekturu pro Datové Proudy. Teoretická část se zaměřuje na nastínění základních myšlenek potřebných pro pochopení témat řešených v práci. Hlavní část této bakalářské práce se zabývá výzkumem okolo architektury pro Datové Proudy prostřednictvím Systematic Literature Review. Autor začíná výběrem relevantních článků a následně je analyzuje, aby zdůraznil komponenty navrhované architektury přítomné v každém zkoumaném článku. S použitím vědeckých metod, jako jsou zobecnění a syntéza, autor identifikuje společné komponenty v revidovaných architekturách. Nakonec na základě identifikovaných komponent autor předkládá návrh obecné architektury pro Data Streaming, přičemž každá komponenta architektury je komentována pro podrobnější přehled.

Abstract:

The proliferation of big data and the emergence of real-time applications have created a need for scalable and efficient data processing systems that can handle large volumes of data in real-time. The development of the Internet of Things is taking this to another level altogether; now data can come to us in real time, and our goal, in turn, will be to transfer it without loss, in the right order, and at the highest possible speed. In this thesis, author proposes a general Data Streaming Architecture. The theoretical part focuses on outlining the fundamental ideas required to comprehend the topics addressed in the thesis. The primary part of this bachelor's thesis delves into the research surrounding Data Streaming Architecture through a Systematic Literature Review. The author begins by choosing relevant papers and subsequently analyzes them to emphasize the components of the proposed architecture present in each examined paper. Using scientific methods, such as generalization and synthesis, the author identifies common components in the architectures reviewed. Finally, based on the identified components, the author puts forth a proposal of a general Data Streaming Architecture, with each component of the architecture being commented for a more in-depth overview.

Keywords

Architektura Datových Proudů, zpracování datových proudů, Systematic Literature Review, datový proud

Keywords

data stream, stream processing, Systematic Literature Review, Data streaming architecture

Language used: English

Date on which the thesis was submitted / produced: 6. 5. 2023

Thesis defence

• Date of defence: 19. 6. 2023
• Supervisor: Soňa Karkošková
• Reader: Martin Potančok

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika