Zpracování velkých objemů nestrukturovaných dat na platformě Hadoop

Martin Prouza

Bakalářská práce

Processing Large Volumes of Unstructured Data on Hadoop Platform

Anotace:

Tato práce se zabývá zpracováním nestrukturovaného textu na platformě Hadoop. První část se zaměřuje na důvody vzniku konceptu Big Data. Vysvětlím problematiku dat dnešní doby a ukážu, proč jsou běžné databázové systémy nevhodné pro práci s nestrukturovanými či velkými objemy dat. Další část je zaměřená na teorii konceptu Big Data a jeho zpracování na platformě Hadoop. Představím Hadoop architekturu, a jak se liší od běžného databázového skladu. Také vysvětlím teorii paralelního zpracování dat, a jak je toto paralelní zpracování řešeno na platformě Hadoop. Poslední část se zabývá praktickou částí řešení zpracování obsahu nestrukturovaných serverových logů na platformě Hadoop. Jakým způsobem jsme schopni tato data analyzovat a získat z nich využitelné informace. Výsledek této části budu prezentovat v reportingovém programu QlikView. Výsledek byl rovněž zpracován na klasické SQL databázi, aby se porovnal přínos Hadoop platformy při zpracování nestrukturovaných dat.

Abstract:

This thesis is concerned with processing unstructured text on Hadoop platform. First part focuses on the reasons of creation Big Data concept. I explain data issue of these days and show, why common database systems are inappropriate for working with huge amounts of unstructured data. The next part focuses on theory about Big Data concept and processing on Hadoop platform. I introduce Hadoop architecture and how it differs from common warehouse database. I also explain parallel data processing theory and how parallel processing is solved on Hadoop platform. The last part focuses on practical part to solve processing huge amounts of unstructured server logs on Hadoop platform. How can we analyze these data and get some valuable information from them. The result will be presented in reporting program QlikView. Result was also processed on classic SQL database, to compare Hadoop platform contribution in processing unstructured data.

Klíčová slova

Distribuovaný souborový systém, Hadoop, HDFS, MapReduce, nestrukturovaná data, NoSQL, paralelní zpracování dat, QlikView, ngram, Hive

Keywords

Distributed file system, Hadoop, HDFS, MapReduce, NoSQL, parallel data processing, QlikView, unstructured data, ngram, Hive

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 7. 5. 2015

Obhajoba závěrečné práce

• Obhajoba proběhla 3. 6. 2015
• Vedoucí: Jiří Skácelík
• Oponent: Radim Bača

VŠB - Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Bakalářský studijní program / obor:
Informační a komunikační technologie / Informatika a výpočetní technika