Optimalizace a standardizace datových transformací modelu pro řízení kreditního rizika

Marek Styblík

Master's thesis

Optimization and standardization of data transformations of the credit risk management model

Abstract:

Proces ETL je klíčovým prvkem v moderní práci s daty, který umožňuje získávat, transformovat a nahrávat data do finálních systémů. Tento model je často součástí robustního firemního řešení pro získávání zdrojových dat. Ačkoliv by si mnoho týmů a oddělení přálo více flexibilní provedení, jeho zavedení na bázi agilního přístupu citizenship development s sebou nese určitá rizika. Struktura je náchylná k problémům spojeným s její složitostí a obtížnou správou. Tato diplomová práce se zabývá optimalizací datových transformací psaných v bankovním PL/SQL kódu na základě přístupu citizenship development. Cílem diplomové práce je optimalizovat existující ETL strukturu tak, aby byla lépe organizovaná a jednodušeji pochopitelná. Optimalizace modelu se zaměřuje na restrukturalizaci ETL hierarchie, efektivitu psaného SQL kódu a čištění a organizaci dat dle nejlepších praktik. Práce se také zaměřuje na efektivitu zpracování dat a ošetření hodnot. Na základě těchto principů je pak vyhodnocena datová kvalita. Přínosem této práce je také definice sady praktik postavené na modulárním řešení pro nově vznikající datové sady.

Abstract:

The ETL process is a key element in modern data handling, allowing data to be extracted, transformed and uploaded into final systems. This model is often part of a robust enterprise solution for data extraction. Although many teams and departments would like to see a more flexible implementation, its adoption based on an agile citizenship development approach carries certain risks. The structure is vulnerable to problems associated with its complexity and difficulty to administer. This thesis deals with the data transformations optimization written in bank PL/SQL code based on the citizenship development approach. The aim of the thesis is to optimize the existing ETL structure in order to make it more organized and easier to understand. The optimization of the model focuses on restructuring the ETL hierarchy, the efficiency of the written SQL code, and data cleaning and organization according to best practices. The work also focuses on the efficiency of data processing and value handling. Data quality is then evaluated based on these principles. The contribution of this thesis is also the definition of a set of best practices built on a modular solution for newly emerging datasets.

Keywords

BI, CTE, databáze, Git, ETL, PL/SQL

Keywords

BI, CTE, database, Git, ETL, PL/SQL

Language used: Czech

Date on which the thesis was submitted / produced: 28. 4. 2024

Thesis defence

• Date of defence: 28. 5. 2024
• Supervisor: Soňa Karkošková
• Reader: Jan Pour

Vysoká škola ekonomická v Praze

Master programme:
Data a analytika pro business