Paralelizace výpočtů pomocí modelu MapReduce

Lukáš Trumm

Bachelor's thesis

Parallel Computing Using MapReduce Model

Anotácia:

Tato práce se zabývá zpracováním velkého množství dat pomocí programovacího modelu MapReduce. Popisuje hlavní myšlenky tohoto přístupu a principy, ze kterých model vznikl. Vysvětluje jeho propojení s distribuovaným souborovým systémem, který je nezbytnou součástí efektivního využití modelu. Praktická část práce se zaměřuje na open-source implementaci MapReduce modelu - Hadoop a distribuovaný souborový systém HDFS. Cílem praktické části je vytvoření funkčního příkladu MapReduce úlohy implementované pomocí Hadoop frameworku. Záměrem je získat z velkého množství částečně strukturovaných dat o návštěvnosti české Wikipedie souhrnné statistické informace o nejnavštěvovanějších stránkách. Práce porovnává řešení tohoto problému na lokálním počítači s řešením pomocí paralelního zpracování na více serverech. Dochází k závěru, že využití paralelizovaných výpočtů je efektivní až při zpracování dat v řádech desítek GB a větších.

Abstract:

This thesis deals with processing large amount of data using MapReduce programming model. It describes main ideas of this approach and the origin of the model. The thesis explains interconnection between the model and distributed file system, which is necessary for effective usage of the model. Practical part of this thesis focus on open-source implementation of MapReduce - Hadoop and distributed file system HDFS. The goal of the practical part is creation of functioning example of MapReduce job implemented using Hadoop framework. The intention is to obtain statistical information about the most visited pages on Czech Wikipedia from large amount of semi-structured data. This thesis compares the solution of this problem using local computer and using parallel processing on multiple servers. It concludes that the parallel computing is effective starting with tens of GB of input data or more.

Kľúčové slová

Paralelní výpočty, Distribuované systémy, MapReduce, Hadoop

Keywords

Parallel computing, Distributed systems, MapReduce, Hadoop

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 19. 11. 2015

Obhajoba závěrečné práce

• Obhajoba proběhla 11. 1. 2016
• Vedúci: Ing. Pavel Kříž, Ph.D.
• Oponent: Ing. Pavel Janečka

University of Hradec Králové

Faculty of Informatics and Management

Bachelor programme / odbor:
Systémové inženýrství a informatika / Informační management