Overview and Analysis of Data Vault 2.0 - Flexible Data Warehousing Methodology

Bc. Adam Hospodka

Master's thesis

Abstract:

Datový sklad je nezbytnou součástí větších moderních společností, který slouží jako rozsáhlý systém pro ukládání a analýzu dat. Ve srovnání s jinými oblastmi vývoje softwaru mají projekty v této oblasti stále potíže s častou změnou požadavků, iterativním vývojem či rozšířitelností systému. Je to způsobeno především jejich zastaralými metodikami, nepružnými architekturami a rigidními datovými modely, které jsou tradičně spojeny s datovými sklady. Tato práce poskytuje obsáhlý přehled systému Data Vault 2.0, kolekce business intelligence komponent pro architekturu datových skladů, datového modelování a metodiky vývoje, které upřednostňují flexibilitu a škálovatelnost, transparentní datový audit, rychlou integraci dat a agilní vývoj. Tyto principy jsou dále zdůrazněny v detailním porovnání s tradiční metodikou Kimball v různých aspektech. Součástí je také konstrukce základní verze datového modelu DV, a jeho naplnění transformovanými daty TPC-H, na kterých dále jsou demonstrovány různé analytické dotazy.

Abstract:

Data Warehouse (DWH) is an essential component of a large modern business, serving as a large-scale system for data storage and analysis. In comparison to other areas of software development, projects in this domain still often struggle with topics like frequent rule shifting, iterative development and extensibility. This is mainly caused by their outdated methodologies, inflexible architectures and rigid data models that are traditionally connected with DWH. This thesis provides a comprehensive overview of Data Vault 2.0 (DV), a reworked collection of business intelligence components for DWH architecture, data modelling and development methodology that prioritize flexibility and scalability, data lineage, rapid data integration and agile development. These principles are further highlighted in a close comparison to the traditional Kimball DWH methodology in various aspects. A lightweight version of the DV core data model is also constructed and populated with transformed data of TPC-H benchmark, on which analytical queries in the DV environment are demonstrated.

Keywords

data vault, data warehouse, business intelligence, agile development, TPC-H, data architecture, ETL, kimball

Language used: English

Date on which the thesis was submitted / produced: 13. 12. 2022

Thesis defence

• Date of defence: 26. 1. 2023
• Supervisor: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Reader: RNDr. Michal Batko, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Big data