Automatizace developmentu DWH

Marek Smetana

Bachelor's thesis

Automation of DWH development

Abstract:

Tato bakalářská práce se věnuje automatizaci developmentu DWH. Hlavním cílem práce je implementace řešení pro automatizaci developmentu DWH. Práce je rozdělena do dvou hlavních částí: teoretického úvodu a praktické aplikace. V teoretické části je poskytnut podrobný přehled základních pojmu a současné literatury týkající se automatizace v DWH. Definovány jsou klíčové technologie a metodiky, včetně vysvětlení principů ETL (Extract, Transform, Load) a ELT (Extract, Load, Transform), které jsou základem pro práci s daty v datových skladech. Praktická část se zaměřuje na návrh a implementaci řešení pro zefektivnění vývoje datového skladu. Popsány jsou dva přístupy: použití pgSQL jako tradiční technologie developmentu DWH a dbt pro pokročilé automatizační funkce. Obě metody jsou následně porovnány z hlediska efektivity, rychlosti a snížení možnosti chyb v procesu developmentu. Výsledkem práce je poskytnutí jasného srovnání přínosů při využití nástroje dbt pro automatizaci datového skladu, a to na základě srovnání s tradičním přístupem vývoje. Celkově tato práce přináší ucelený pohled na automatizaci vývoje DWH s využitím nejnovějších technologií.

Abstract:

This bachelor's thesis focuses on the automation of DWH development. The main objective of the thesis is to implement a solution for automating DWH development. The thesis is divided into two main parts: a theoretical introduction and practical application. In the theoretical part, a detailed overview of basic concepts and current literature related to DWH automation is provided. Key technologies and methodologies are defined, including an explanation of the principles of ETL (Extract, Transform, Load) and ELT (Extract, Load, Transform), which are fundamental for working with data in data warehouses. The practical part focuses on the design and implementation of solutions to enhance the efficiency of data warehouse development. Two approaches are described: the use of pgSQL as a traditional DWH development technology and dbt for advanced automation functions. Both methods are then compared in terms of efficiency, speed, and reduction of potential errors in the development process. The outcome of the thesis provides a clear comparison of the benefits of using the dbt tool for data warehouse automation, based on a comparison with the traditional development approach. Overall, this work presents a comprehensive view of DWH development automation using the latest technologies.

Keywords

automatizace, datový sklad, dbt, PostgreSQL

Keywords

automation, data warehouse, PostgreSQL, dbt

Language used: Czech

Date on which the thesis was submitted / produced: 6. 5. 2024

Thesis defence

• Date of defence: 19. 6. 2024
• Supervisor: Soňa Karkošková
• Reader: Miloš Maryška

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika