Datová archivace a historizace v rámci DWH

David Kukla

Master's thesis

Data archivation and historization in DWH

Abstract:

Tato diplomová práce se zabývá problematikou datové historizace a archivace v rámci datového skladu. Cílem diplomové práce je navrhnout archivační koncept dle zadání fiktivní firmy. V první části jsou představeny pojmy a čtenář uveden do problematiky. Autor předkládá znalosti z odborných publikací, které rozšiřuje o své praktické poznatky. Na základě těchto poznatků je provedena analýza a návrh archivačního konceptu. V druhé části autor předkládá svůj koncept, který implementuje dle vlastního návrhu. Součástí konceptu je stanovení archivační metodiky a výroba a implementace datového archivu společně s archivačním nástrojem. Archiv je vytvořen na technologii Hadoop a připojen k produkčnímu datovému skladu pomocí Polybase. Výsledkem konceptu je optimalizace datového skladu za pomocí přesunu části již nepotřebných dat do archivu. BI řešení je rozšířeno o nezávislý, škálovatelný a plně dostupný archiv, který se v budoucnu nemusí obávat výzev jako je například Big Data.

Abstract:

This diploma thesis deals with issue of data historization and archiving within data warehouse. The aim of the diploma thesis is to design an archiving concept according to assignment of a fictious company. In the first part of diploma thesis, the concepts are introduced to the reader. The author present knowledge from professional publications, which is expanded by author´s practical knowledge. An analysis and design of the archiving concept is based on these findings. In the second part of diploma thesis, author present his concept, which is implemented according to his own design. Part of the concept is the determination of archiving methodology and the creation of data archive together with an archiving tool. The archive is created on Hadoop technology and connected to the production data warehouse by Polybase technology. The result of the concept is the optimalization the data warehouse by moving some of the unactual data to the archive. The BI solution is extended by an independent, scalable and fully accessible archive, which does not have to worry about future challenges such as Big Data.

Keywords

Datová historizace, Databázová archivace, Hadoop, SQL, datový sklad, Polaybase

Keywords

Hadoop, SQL, data warehouse, Polybase, database archiving, data historization

Language used: Czech

Date on which the thesis was submitted / produced: 29. 4. 2022

Thesis defence

• Date of defence: 9. 6. 2022
• Supervisor: Jan Pour
• Reader: Zuzana Šedivá

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie