Deploying Data Lake for Big Data Management

Tomáš Chomo

Master's thesis

Abstract:

Ukladanie, analýza a interpretácia veľkého množstva dát je v súčasnosti témou, ktorá sa aktívne skúma a prediskutováva vo veľkom množstve profesionálnych odborov. Rýchly pokrok v prístupoch k ukladaniu veľkých dát môže spôsobiť zmätok a tým odradiť veľké spoločností od investovania do prehodnotenia svojej existujúcej stratégie. Vízia zlepšenia môže byť zatienená požadovaným technickým úsilím a nákladmi na nové riešenie. Táto práca si kladie za cieľ vytvoriť pre čitateľov riešenie, ktoré im pomôže určiť či prístup dátového jazera, k spracovaniu veľkých pre nich môže byť užitočný a stojí za to investovať do neho. Riešenie dátového jazera získava väčšiu pozornosť aj medzi používateľmi v podnikoch, pretože sa zameriava na prispôsobenie sa novým trendom, ako sú strojové učenie alebo IoT. V tejto súvislosti môže v mnohých prípadoch dátové jazero veľmi užitočné. Na základe naštudovanej literatúry o veľkých dátach a dátových jazerách, prieskume vo forme dotazníka, ktorý bol zameraný na všeobecné témy veľkých dát a dátových jazier, bola vyvinutá prvá iterácia rozhodovacieho modelu. Prieskum bol distribuovaný medzi viacerými skupinami odborníkov s rôznymi úrovňami znalostí o veľkých dátach. Výsledky prieskumu boli použité na úpravu a vytvorenie konečnej verzie rozhodovacieho modelu so zameraním na skutočné požiadavky na veľké dátové infraštruktúry. Overenie rozhodovacieho modelu bolo založené na simulácii prípadov použitia, ktoré sa snažia odzrkadľovať bežné situácie používania veľkých dát. Je môže pokračovať vo výskume s cieľom vytvoriť viac podporných materiálov ku rozhodovaciemu procesu.

Abstract:

Storing, analyzing, and interpreting a large amount of data is currently a topic that is being actively researched and discussed in a broad range of professional fields. The fast progress of approaches to storing big data can create confusion and make more prominent companies less like to invest into rethinking their existing strategy. The vision of improvements can be overshaded by the required engineering effort and cost of the new solution. This thesis intends to create a solution for readers to help them determine if the data lake approach to handling big data can be useful for them and worth investing in. Data lake solution is getting more attention even between enterprise users because of its focuses on adapting to the new trends like machine learning or IoT. In this context, a data lake can be handy in many use cases. Based on the review of literature about big data and data lake, the first iteration of the decision framework was developed alongside the survey, which was focused on general topics of big data and data lake. The survey was distributed between multiple groups of professionals with different knowledge levels about big data. The results of the survey were used to adjust and create the final version of the decision model with a focus on real-world requirements for big data infrastructures. Validation of a decision model was based on simulating use cases that are trying to reflect common big data challenges. Further research can be conducted to create more support materials for the thisdecision-making process.

Keywords

data lake, big data, data analysis, data virtualization

Language used: English

Date on which the thesis was submitted / produced: 11. 12. 2019

Thesis defence

• Date of defence: 6. 2. 2020
• Supervisor: doc. Mouzhi Ge, Ph.D.
• Reader: PhD Bruno Rossi

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering