Hadoop a Business Intelligence

Josef Kerner

Bachelor's thesis

Hadoop and Business Intelligence

Abstract:

Bakalářská práce se zaobírá vlivem a použitím platformy Hadoop při zpracování a analýze velkých dat v procesech a technologiích Business intelligence. Popisuje důvody, proč platforma vznikla, její primární komponenty a také důležité, na ní provozované aplikace, které přinášejí i méně technicky zkušeným uživatelům přidanou hodnotu z dat. Dále se zaobírá přínosy integrace Hadoopu do stávající IT infrastruktury organizace jak z technického hlediska, tak i z pohledu uživatelů datových analýz. Práce obsahuje teoretickou a praktickou část. Teoretická část seznamuje čtenáře s využitím komponent Hadoopu při zpracování nestrukturovaných dat za účelem rozšíření investičních analýz cenných papírů. Praktická část práce poskytuje případovou studii implementace Big Data ETL procesu, realizovaném v frameworku Spark, v oblasti dat z finančních trhů, kde detailně vysvětluje použité postupy jako je datový model, transformační kód a navrhované metriky, které mohou být využity finančními institucemi v jejich obchodních platformách za účelem dosažení zvýšeného zisku z držených titulů. Smyslem práce je poskytnout znalosti potřebné pro úspěšnou integraci Hadoop platformy a jejích komponent do stávající IT infrastruktury a vylepšení procesů Business Intelligence o nové přístupy v analýze velkých dat.

Abstract:

The main purpose of this thesis is to describe how an integration of a Hadoop platform into currently existing Business Intelligence technologies and processes can augment its data processing and analysis capabilities while encountering Big Data. Furthermore, it describes reasons why the whole Hadoop application ecosystem was founded and informs the reader about the functionality of its primary components. It continues with provision of overview about Hadoop higher-level components architecture and their use in existing Business Intelligence processes such as data ingestion, transformation and analysis. In the last theoretical chapter it focuses itself on describing specific areas of utilization of the Hadoop platform and Big Data in data warehousing, text mining and predictive analytics. From the practical point of view, a particular use case is provided, an implementation of Big Data ETL process in the field of financial markets and trading with a detailed explanation of the corresponding necessities such as data model, ETL code and proposed metrics, which can be further implemented for achieving increased return on investments.

Keywords

datový sklad, Big Data, Algoritmické obchodování, finanční trhy, Apache Spark, sentiment analýza, sociální data, Business intelligence, Hadoop

Keywords

quantitative trading, Apache Spark, sentiment analysis, social data, financial markets, Business intelligence, Hadoop, Big Data, data warehouse

Language used: Czech

Date on which the thesis was submitted / produced: 2. 10. 2015

Thesis defence

• Date of defence: 20. 6. 2016
• Supervisor: Lucie Šperková
• Reader: Jakub Augustín

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Aplikovaná informatika / Informatika