Dátová validácia reportingových riešení v obchodnej spoločnosti

Karolína Benkovičová

Diplomová práce

Anotace:

Tato práce se zabývá návrhem a implementací procesů validace dat pro reportingová řešení společnosti Siemens Česká republika. Hlavním cílem práce je zavedení postupů pro validaci dat tak, aby stávajíci řešení společnosti využívala spolehlivá data a splňovala rámcové požadavky na rozvoj společnosti. Cílem validace dat je ověřit důvěryhodnost vstupních dat i dat po transformaci a následně automaticky revidovat požadavky na vizuální stránku řešení. Sekundárním cílem je vytvořit řešení pro reporting, které lokalizuje nedostatky zjištěné zavedenými procesy validace dat. V první části práce je nejprve důkladně definován výchozí stav společnosti a motivace k implementaci řešení. Následně jsou popsány použité technologie a zdrojové systémy, a to jak pro řešení validace dat na úrovni ukládání dat, tak na úrovni vizualizace. Vlastní implementace definovaných testů tvoří jádro práce. Pro definované testy ověřující kvalitu dat a obchodní logiku na úrovni ukládání dat je použita aplikace dbt. Testy pro kontrolu na úrovni vizualizace dat jsou realizovány pomocí vlastního programu napsaného v programovacím jazyce Python. Pro vizualizaci chyb zjištěných tímto programem je pak vytvořeno přehledové řešení v reportingovém nástroji Power BI a systém automatického zasílání e-mailů orchestrovaný nástrojem Power Automate. Výsledkem práce je systém, který minimalizuje lidské chyby, zvyšuje spolehlivost a konzistenci dat a zajišťuje profesionální vzhled zpráv.

Abstract:

This thesis addresses the design and implementation of data validation processes for reporting solutions at Siemens Czech Republic. The primary objective of the thesis is to implement procedures for data validation ensuring that the company's existing solutions use reliable data and meet the company's framework development requirements. Data validation aims to verify the credibility of input data as well as data after transformation and then to automatically review the requirements for the visual aspect of the solution. A secondary objective is to create a reporting solution to locate deficiencies identified by the established data validation processes. The first part of the thesis thoroughly defines the initial state of the company and the motivation for implementing the solution. It then describes the technologies and source systems used, both for data validation at the data storage level and for data visualization. The actual implementation of the defined tests forms the core of the thesis. For the defined tests checking data quality and business logic at the data storage level, the dbt application is used. Tests for data visualization validation are implemented using a custom program written in the Python programming language. An overview solution is then created in the reporting tool Power BI to visualize errors identified by this program, along with an automated email notification system orchestrated by Power Automate. The result of the work is a system that minimizes human errors, improves data reliability and consistency, and ensures professional looking reports.

Abstract:

Táto diplomová práca sa zaoberá návrhom a implementáciou procesov dátovej validácie pre reportingové riešenia spoločnosti Siemens Česká republika. Primárnym cieľom práce je zavedenie postupov pre dátovú validáciu, tak aby dnešné riešenia spoločnosti využívali spoľahlivé dáta a spĺňali rámcové vývojové požiadavky spoločnosti. Dátová validácia má za cieľ overiť kredibilitu vstupných dát ako aj dát po transformácií a následne automatizovane prekontrolovať požiadavky na vizuálnu stránku riešenia. Sekundárnym cieľom je vytvorenie prehľadového riešenia na lokalizáciu nedostatkov zistených zavedenými procesmi dátovej validácie. V prvej časti práce je najprv dôkladne definovaný východiskový stav spoločnosti a motivácia pre implementáciu riešenia. Následne sú popísané využité technológie a zdrojové systémy, ako pre riešenie dátovej validácie na úrovni ukladania dát, tak aj na úrovni vizualizácie. Samotná implementácia definovaných testov tvorí jadro práce. Pre definované testy kontrolujúce dátovú kvalitu a biznis logiku na úrovni ukladania dát je využitá aplikácia dbt. Testy pre kontrolu na úrovni dátovej vizualizácie sú implementované pomocou vlastného programu napísaného programovacím jazykom Python. Pre vizualizáciu chýb zistených týchto programom je následne vytvorené prehľadové riešenie v reportingovom nástroji Power BI a automatický emailingový systém orchestrovaný Power Automate. Výsledkom práce je systém, ktorý minimalizuje ľudské chyby, zvyšuje spoľahlivosť a konzistenciu dát a zabezpečuje profesionálny vzhľad reportov.

Klíčová slova

datová validace, datová kvalita, vizualizace, reporting, Snowflake, dbt, Power BI, Power Automate

Keywords

data validation, data quality, visualization, reporting, Snowflake, dbt, Power BI, Power Automate

Klíčová slova

dátová validácia, dátová kvalita, vizualizácia, reporting, Snowflake, dbt, Power BI, Power Automate

Jazyk práce: slovenština

Datum vytvoření / odevzdání či podání práce: 23. 6. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 2024
• Vedoucí: Miroslav Umlauf
• Oponent: Kristýna Skyvová

Vysoká škola ekonomická v Praze

Magisterský studijní program:
Data a analytika pro business