Metoda Data Vault a její implementace při budování datového tržiště

Simona Madhi

Master's thesis

The Data Vault Method and Its Implementation in the Building of a Data Mart

Abstract:

Tato diplomová práce se zabývá metodou Data Vault, která je specifickou, hybridní metodou modelování datového skladu na pomezí 3. normální formy a dimenzionálního modelování, a mimo jiné umožňuje ukládání historických dat a zachování informací o zdrojovém systému dat. Měla by sloužit především pro nastínění specifik a přínosů využití metody Data Vault, a ilustraci metody na využití na reálném projektu.Hlavním cílem této práce bylo ilustrovat využití metody Data Vault pro budování datového tržiště. V první části je představena metoda Data Vault, její vznik, teze, specifika a standardy. Je provedeno porovnání metody Data Vault s klasickými dimenzionálními principy a popsány přínosy a negativa.Následně je metoda Data Vault aplikována na reálném projektu budování datového tržiště pro reporting Claims and Complaints blíže nespecifikované logistické firmy. Kromě nastínění základních informací o projektu je kladen důraz na tvorbu Loading Patterns – vzorů pro plnění hubů, linků a satelitů. Je provedena jejich identifikace, následná implementace pro vyvíjení plnících SQL kódů a nastíněna budoucí možnost automatizovat plnění jednotlivých druhů tabulek makrem. Vytvořené plnící kódy jsou porovnány se vzorem a zkontrolována jejich funkčnost.Dalším, okrajovým zaměřením je řešení napojení standardních reportingových nástrojů na datové tržiště pomocí vytvoření mezivrstvy dimenzionálního modelu.V poslední části práce pak jsou diskutovány problémy vyskytnuté během v průběhu projektu a vzniklé lessons learned, které se budou přenášet do dalších plánovaných projektů.

Abstract:

The topic of this diploma thesis is the Data Vault method, which is a specific, hybrid approach to data warehouse modelling in between classic normalized and dimensional modelling, and amidst other benefits enables historization of data and data source tracking. The core purpose was to discuss the Data Vault method specifics and implementation benefits and illustrate the method on real-life project use.The main aim of this paper is to illustrate the use of the Data Vault method for a development of a data mart. In the first part of this paper the Data Vault is introduced, along with its birth, theoretical background, specifics and standards. The Data Vault method is compared with classical, dimensional principles of data warehousing and its benefits and negatives are described.Secondly, the Data Vault method is applied within the real-life project of Claims and Complaints data mart development for an unspecified logistics company. Besides general information about the project there is a focus on the creation of Loading Patterns – patterns for the data load of hubs, links and satellites. They are identified, implemented for the application in SQL load script development and the future possibility of automated code generation is discussed. The developed loading scripts is compared to their patterns and its functionality is checked.Another, secondary focus point is the problematics of connecting standard reporting tools to the data mart via proxy dimensional layer.The last part contains discussion of the problems that have surfaced during the project solution and the lessons learned, which will be later used in the projects planned for future.

Keywords

Loading Patterns, data warehousing, data architecture, Data Vault, Business Intelligence

Keywords

Business Intelligence, Data Vault, data warehousing, Loading Patterns, data architecture

Language used: Czech

Date on which the thesis was submitted / produced: 4. 10. 2019

Thesis defence

• Date of defence: 1. 6. 2020
• Supervisor: Ota Novotný
• Reader: Jan Pour

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie