Řešení vybrané úlohy v oblasti Big Dat v bankovní společnosti.

Michaela Růžičková

Master's thesis

Solution of the specific task with Big Data technologies

Abstract:

Diplomová práce se zabývá použitím frameworku Apache Spark, konkrétně jeho komponen-ty Machine Learning Library. Cílem práce je vytvoření segmentace právnických osob právě pomocí komponenty Machine Learning Library, a to na základě ukazatelů, které jsou vybra-né a vypočtené z finančních výkazů. Tuto segmentaci využije bankovní společnost při nabí-zení produktů jednotlivým právnickým osobám. Dá se totiž předpokládat, že při správném rozdělení právnických osob do jednotlivých skupin budou mít tyto společnosti i podobné potřeby využití jednotlivých bankovních produktů.V teoretické části je vysvětlen pojem Big Data, jeho základní vlastnosti a charakteristiky. Následuje popis frameworku Apache Hadoop, jeho komponent a vlastností. Část teoretické práce je věnován frameworku Apache Spark, kde jsou opět popsány jeho hlavní vlastnosti a komponenty. Dále je detailně rozebrána komponenta Machine Learning Library využívána v praktické části.V praktické části je popsáno celé řešení úlohy pomocí frameworku Apache Spark, konkrétně tedy segmentace na základě dat z účetních výkazů. Úloha je řešena pomocí algoritmu K – means, který je zde představen a vysvětlen. Následně je pozornost věnována samotné přípra-vě dat z účetních výkazů, jsou vysvětleny nezbytné úpravy dat a jejich následné využití při řešení úlohy. Na závěr jsou prezentovány výsledky řešení.

Abstract:

This diploma thesis focuses on the use of the Apache Spark framework, specifically its Machine Learning Library. The aim of the thesis is to create a segmentation of legal entities based on indicators selected and calculated from the financial statements using the Machine Learning Library component.In the theoretical part, the concept of Big Data is first explained and the basic features and characteristics of Big Data are presented. Then Apache Hadoop framework, its components and properties are described. The next chapter is dedicated to Apache Spark, its main features and components are discussed. Moreover, component Machine Learning Library is described in detail because of using in case study.Case study is about segmentation based on data from financial statements using Apache Spark. Then algorithm K- means, which is used in the case study, is presented and explained. Attention is also paid to the preparation of data from the financial statements, the necessary data modifications and their subsequent use in solving the problems. Finally, the results of the solution are presented.

Keywords

Big Data, Apache Spark, bankovnictví, k-means, segmentace, finanční ukazatele, Apache Hadoop, machine learning

Keywords

Big Data, Apache Hadoop, Apache Spark, machine learning, segmentation, k-means, banking, financial indicator

Language used: Czech

Date on which the thesis was submitted / produced: 10. 10. 2017

Thesis defence

• Date of defence: 30. 5. 2018
• Supervisor: Josef Basl
• Reader: Jakub Vedral

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie