Integrace podpory frameworku Hadoop do CloverETL

Bc. Rastislav Mirek

Diplomová práce

Hadoop Support in CloverETL

Abstract:

This thesis deals with the integration of Hadoop framework support into CloverETL. The parts of Hadoop framework integrated into CloverETL are HDFS, distributed database Hive and Hadoop MapReduce. The thesis analyses the appropriate integration options. It describes the selected integration option for HDFS and the integration of Hadoop MapReduce using CloverETL jobflow component. The emphasis is put on high expandability, support for different versions of Hadoop framework and usability.

Abstract:

Práca sa zaoberá integráciou podpory pre súčasti frameworku Hadoop, ktorými sú HDFS, distribuovaná databáza Hive a Hadoop MapReduce do CloverETL. Práca analyzuje vhodné možnosti integrácie. Popisuje zvolenú integráciu HDFS a integráciu Hadoop MapReduce pomocou CloverETL jobflow komponenty. Dôraz je kladený na rozšíriteľnosť, podporu rôznych verzií frameworku Hadoop a využitelľnosť navrhnutého riešenia.

Klíčová slova

Java, Hadoop, HDFS, Hive, MapReduce, CloverETL, Jobflow komponenta, integrácia dát, transformácia dát, distribuované spracovanie dát

Jazyk práce: slovenština

Datum vytvoření / odevzdání či podání práce: 7. 1. 2013

Obhajoba závěrečné práce

• Obhajoba proběhla 11. 2. 2013
• Vedoucí: doc. RNDr. Tomáš Pitner, Ph.D.
• Oponent: RNDr. Pavel Šimeček, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Informační systémy