Analýza a návrh architektury v prostředí MapReduce

Bc. Martin Otáhal

Bakalářská práce

Architecture analysis and design in MapReduce environment

Abstract:

This bachelor's thesis explains the MapReduce principle, which was created for parallel processing of big data and describes different frameworks, that implement the MapReduce principle. It also tries to find a relevant architecture (in regards to available hardware) and implement and test a text analysis on this architecture, using WordNet dictionary and third-party libraries, which are used for the analysis itself. Apache Hadoop version 2.4.1 is used for the testing. The result of this thesis is a discussion of problems, that caused the inability of implementing relevant architecture for a multi-node cluster, however, with a pseudo-distributed single-node cluster, a big improvement was achieved in comparison to the serial implementation.

Abstract:

Táto bakalárska práca sa zaoberá vysvetlením fungovania princípu MapReduce, ktorý bol navrhnutý pre paralelné spracovanie veľkého množstva dát a popísaním rôznych frameworkov, ktoré tento princíp implementujú. Ďalej je jej cieľom navrhnúť vhodnú architektúru (obmedzenú dostupným hardvérom) a implementovať a otestovať na tejto architektúre analýzu textu s využitím slovníku WordNet a externých knižníc, ktoré majú na starosti samotnú analýzu. Na praktické testovanie je použitá platforma Apache Hadoop vo verzii 2.4.1. Výsledkom práce je zhrnutie problémov, ktoré sú príčinou, že nebolo možné implementovať riešenie pre viacuzlový klaster, avšak na jednouzlovom klasteri bolo oproti sériovému riešeniu dosiahnuté výrazné zlepšenie.

Klíčová slova

Analýza textu, big data, distribuované výpočty, Hadoop, MapReduce, paralelizácia

Jazyk práce: slovenština

Datum vytvoření / odevzdání či podání práce: 18. 5. 2015

Obhajoba závěrečné práce

• Obhajoba proběhla 16. 6. 2015
• Vedoucí: Mgr. Dalibor Toth
• Oponent: RNDr. Jaroslav Ráček, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika