Komparace distribucí frameworku Apache Hadoop

Petr Todorov

Diplomová práce

Comparison of Apache Hadoop framework distributions

Anotace:

Práce se zaměřuje na komparaci distribucí frameworku pro zpracování big data Apache Hadoop. Teoretická část přináší stručný vhled do oblasti big data, detailní popis frameworku a ekosystému Apache Hadoop. Práce rovněž poskytuje přehled o situaci na trhu distribucí frameworku pro zpracování big data Apache Hadoop. Praktická část práce představuje možnosti zpracování big data v reálném čase v rámci vybraných distribucí frameworku Apache Hadoop formou realizace typové úlohy příjmu a zpracování příspěvků ze sociální sítě Twitter. Na základě zjištěných informací a výsledků provedení příjmu a zpracování big data je následně provedena komparace vybraných distribucí frameworku Apache Hadoop. Informace, které práce přináší, lze využít pro rychlou orientaci na trhu distribucí frameworku Apache Hadoop a výběr distribuce frameworku Apache Hadoop vhodné pro zpracování big data v reálném čase.

Abstract:

This thesis focuses on comparison of the Apache Hadoop big data processing framework distributions. The theoretical part brings a brief insight into the big data area, a detailed description of the Apache Hadoop framework and ecosystem. The thesis also provides an overview of the Apache Hadoop big data processing framework distributions market situation. The practical part of the thesis introduces the possibilities of real-time big data processing within selected Apache Hadoop framework distributions in the form of performing a type Twitter social network data ingestion and processing task. Based on information found and data ingestion and processing results the comparison of selected Apache Hadoop framework distributions is accomplished. The information introduced in this thesis can be used in order to get oriented in the Apache Hadoop framework distributions market situation quickly and also for the selection of the distribution suitable for real-time big data processing.

Klíčová slova

Hortonworks, MapR, zpracování big data v reálném čase, Big data, Apache Hadoop, Cloudera

Keywords

Apache Hadoop, Cloudera, Hortonworks, Big data, MapR, real-time big data processing

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 28. 1. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 11. 6. 2020
• Vedoucí: Ota Novotný
• Oponent: Tomáš Bruckner

Vysoká škola ekonomická v Praze

Magisterský studijní program / obor:
Aplikovaná informatika / Podniková informatika