Datová integrace v reálném čase

Ondřej Štěrba

Master's thesis

Real-time Data Integration

Abstract:

Diplomová práce se zabývá datovou integrací v reálném čase. Cílem této práce je namodelovat datové vrstvy, datové struktury, implementovat přenos dat mezi vrstvami a na-posledy zobrazit data v reportovacím nástroji ve skoro reálném čase.První část je věnována analýze architektur a způsobům datové integrace a jejím přidruženým pojmům jako je např. datová kvalita. V této části je rozděleno zpracování dat na online a batch. Tedy na zpracování v reálném čase nebo pomocí dávkových úloh. Zpracování v reálném čase, dále je děleno na fyzické nebo virtuální. Dávkové úlohy jsou rozdě-leny na zpracování strukturovaných a nestrukturovaných dat.Práce se v další části zabývá analýzou dostupných ETL a reportovacích nástrojů. V rámci ETL nástrojů je práce zaměřena na společnosti, jejich produkty a architekturu a cenu vybraného integrační produktu. V rámci reportovacích nástrojů jsou opět analyzovány nabízené produkty a jejich ceny.V poslední části je analyzován použitý dataset a architektura výsledného řešení. V této části je provedeno srovnání použitých ETL nástrojů pomocí výkonnostních testů a porovnání reportovacích nástrojů na základě definovaných kritérií.

Abstract:

This diploma thesis discusses real-time data integration. The goal of the work is to model data layers, data structures, to implement the data flow among different layers at to visualize data in a reporting tool in a near-real-time manner. In the first part we are dealing with the analysis of architecture and various approaches towards a data integration and underlying terms such as a data quality. In this part we divided the processing of data to online and batch. In particular, we divided the data processing to a real-time or via utilizing the batch jobs. The processing in a real-time is further divided onto physycal or virtual. The batch jobs are divided onto structured and unstructured data. In the next part we are discussing the analysis of available ETL and reporting tools. In the area of ETL, we place the emphasis at enterprises, their products and architecture of the integrated product of choice. In the area of reporting tools we provide a reader with an analysis of available market tools and their respective prices. In the last part we analyzed employed dataset and created an architecture of the final solution. In this part we compared utilized ETL tools via running the performance analysis tests. We compared the reporting tools upon the predefined criteria.

Keywords

Business Intelligence, ETL, datová integrace, datový sklad, operační datové úložiště, reporting

Keywords

Business Intelligence, Data Warehouse, Data integration, reporting, Operational Data Store, ETL

Language used: Czech

Date on which the thesis was submitted / produced: 12. 1. 2018

Thesis defence

• Date of defence: 4. 6. 2018
• Supervisor: Ota Novotný
• Reader: Martin Bém

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie