Návrh a implementace datového skladu pro analýzu objemných heterogenních dat

Bc. Matúš Guoth

Master's thesis

Design and Implementation of a Datastore Used for Big Heterogeneous Data Analysis

Abstract:

Aim of the master’s thesis was to design and implement a working prototype of a data warehouse which focuses on storing heterogeneous big data. Master’s thesis was part of a real-world project ANALÝZA. Deployment of this project will ease work of police investigators. Requirements analysis of project ANALÝZA presented a possibility for design of universal data warehouse that is described in this thesis. Thesis presents selected tools for storage of big data. Chosen solution of design consists of distributed file system for storing data and relational database for acceleration of file searches based on descriptive information in data warehouse. Chosen tools required creation of communication interface that serves for cooperation with the rest of the developed system. Thesis output is a design and implementation of communication interface which consists of three layered application on top of a relational database and test application Uploader which serves for file uploading into the distributed file system. The thesis presents a successful cloud testing deployment of implementation in programming language Java with use of distributed file system HDFS and relational database H2.

Abstract:

Cieľom diplomovej práce bolo navrhnúť a implementovať funkčný prototyp dátového skladu určeného na ukladanie heterogénnych dát veľkého objemu. Diplomová práca bola súčasťou reálneho projektu ANALÝZA, ktorého nasadenie uľahčí prácu policajných vyšetrovateľov. Analýzou požiadaviek na vyvíjaný systém pre projekt ANALÝZA vznikla možnosť návrhu obecného dátového skladu popísaného touto prácou. V práci boli predstavené vybrané nástroje na uskladnenie dát veľkého objemu. Vybraným riešením návrhu bola voľba distribuovaného súborového systému na uskladnenie dát a relačná databáza na zrýchlenie vyhľadávania súborov v dátovom sklade na základe popisných informácií. Vybrané nástroje vyžadovali vytvorenie komunikačného rozhrania na spoluprácu so zvyšnými komponentmi vyvíjaného systému. Výsledkom riešenia bol návrh a implementácia komunikačného rozhrania dátového skladu tvoreného trojvrstvovou aplikáciou nad relačnou databázou a testovacou aplikáciou Uploader, slúžiacou na nahrávanie súborov do distribuovaného súborového systému. V práci bolo uvádzané úspešné cloudové testovacie nasadenie implementácie v programovacom jazyku Java s využitím distribuovaného súborového systému HDFS a relačnej databázy H2.

Keywords

Big Data, Datastore, Data analytics, HDFS, cloud, Java, Spring-Boot, Design, Maven

Language used: Slovak

Date on which the thesis was submitted / produced: 20. 5. 2019

Thesis defence

• Date of defence: 21. 6. 2019
• Supervisor: RNDr. Tomáš Rebok, Ph.D.
• Reader: RNDr. Daniel Tovarňák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics