Benchmarking Big Data Streaming Platforms

Bc. Peter Krasňan

Master's thesis

Anotácia:

Meranie výkonnosti systémov prúdového spracovania dát je komplexný proces. Táto diplomová práca skúma a analyzuje existujúce riešenia týchto meraní. Práca sa taktiež zameriava na zjednodušenie tohto procesu a navrhuje platformu s názvom StreamRunner. Platforma je použitá na testovanie výkonnosti aplikácii prúdového spracovania dát a vyhodnotenie ich výsledkov. Táto práca sa skladá z troch častí. Prvá časť skúma tematiku prúdové spracovania, koncept merania výkonnosti systémov pre prúdové spracovanie a existujúce riešenia tejto problematiky. Druhá časť opisuje implementáciu navrhnutého riešenia na meranie výkonnosti pre prúdové spracovanie. Posledná časť obsahuje experimenty aplikácií prúdovehé spracovania za použitia navrhnutého riešenia a ich vyhodnotenie.

Abstract:

Benchmarking of stream processing systems is a complex process. This master thesis investigates and analyzes the existing frameworks for benchmarking stream processing applications. Furthermore, it aims to facilitate this process by offering a platform called StreamRunner. The platform tests performance of the stream processing applications and evaluates measured results. The thesis is composed of three parts. The first part explores the stream processing paradigm, concepts of benchmarking streaming systems, and existing benchmarking solutions. The second part describes the implementation of the proposed implementation of the benchmarking framework. The last part shows the experiments of stream processing applications tested using the proposed framework and its possible future modifications.

Keywords

Data Stream Processing, Performance Evaluation, Benchmarking Stream Processing Systems, Flink, Spark Streaming, Kafka Streams

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 19. 5. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2020
• Vedúci: PhD Bruno Rossi
• Oponent: RNDr. Tomáš Rebok, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Applied Informatics / Service Science, Management and Engineering