Navigating Big Data Processing Software Stacks

Bc. Augustín Nemec

Master's thesis

Abstract:

Táto práca sa zameriava na pomoc pri navigácii obrovským množstvom nástrojov používaných na prácu s veľkými dátami poskytnutím univerzálneho navigačného modelu nezávislého od domény použitia. Používanie tohto modelu môže pomôcť pri výbere správnych open-source nástrojov pre daný problém. Táto práca obsahuje vrstvenie architektúry veľkých dát do logických vrstiev pokrývajúcich celý ekosystém a zostavenie katalógu najuznávanejších nástrojov a technológií pre každú vrstvu. Na základe prehľadu týchto nástrojov je vytvorený navigačný model vo forme rozhodovacieho diagramu. Tento model sa používa na navrhnutie balíka softvéru pre príslušné domény. Model je zhodnotený porovnaním tohto balíka s infraštruktúrou navrhnutou iným výskumom v rovnakej doméne.

Abstract:

This thesis's focus is to help navigate through a huge amount of tools and frameworks used in Big Data by providing a universal navigation model independent of the domain of use. Using this model can help to choose the right open-source tools for a given problem. The thesis includes the layering of Big Data architecture to logical layers covering the entire ecosystem and compiling a catalog of the most recognized tools and technologies for each layer. Based on the overview of these tools, the navigation model in the form of a decision flowchart is created. This model is used to propose a software stack for relevant domains. The model is evaluated by comparing this stack with the infrastructure proposed by other research in the same domain.

Keywords

Big Data, Big Data tools, Big Data navigation

Language used: English

Date on which the thesis was submitted / produced: 18. 5. 2021

Thesis defence

• Date of defence: 22. 6. 2021
• Supervisor: PhD Bruno Rossi
• Reader: Prof. Dr. Mouzhi Ge, PhD

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering