Vytvoření aplikace pro testování kvality dat v datovém skladě pro společnost Dolphin Consulting s.r.o.

Martin Mück

Master's thesis

Creating an application for data quality testing in a data warehouse for Dolphin Consulting s.r.o.

Abstract:

Cílem této diplomové práce je vytvoření aplikace pro testování kvality dat v databázi pro společnost Dolphin consulting s.r.o. v jazyce PL/SQL. Dalším cílem je její testování a ověření funkčnosti v reálném prostředí nad reálnými daty ve farmaceutické firmě.Aplikace je vytvořena na základě studia dostupné literatury týkající se problematiky datové kvality v databázi, jazyka SQL a PL/SQL a znalostí autora.Hlavním přínosem této práce je vytvoření aplikace pro testování kvality dat v databázi, která bude využívána pro hledání problémů a nedostatků v datové kvalitě, a která automatizuje standardní testy prováděné při načítání dat ze zdrojových systémů.Tato diplomová práce je rozdělena na dvě hlavní části. V první části práce je teoreticky popsána problematika datové kvality a oblastí spojených s vývojem samotné aplikace. Jsou zde vysvětleny pojmy datový sklad, datová architektura a dotazovací jazyk SQL včetně jeho rozšíření PL/SQL.Na základě znalostí získaných z teoretické části a autorových znalostí je poté navržena aplikace pro testování kvality dat. Začátek praktické části obsahuje popis celkového návrhu aplikace od návrhu její funkcionality až po návrh struktury řídících tabulek. V dalších kapitolách je poté popsána samotná implementace navržené aplikace v reálném prostředí farmaceutické firmy a testování funkcionality aplikace nad reálnými daty. Závěr praktické části této diplomové práce obsahuje shrnutí poznatků z průběhu implementace a testování navržené aplikace a celkové zhodnocení.

Abstract:

The main goal of this thesis is to develop a data quality testing application in PL/SQL language for the Dolphin Consulting company. Next goal is to test and validate the application functionality in real environment using real data from a pharmaceutical company.The application is developed based on the study of available literature relevant to data quality testing in the database. This literature will be then used while finding issues and discrepancies in the data quality. This application automates the standard tests performed while loading data from source systems.This thesis is divided into two main parts. The first theoretical part theoretically describes the data quality problematic and the areas related to the application development. It also describes the key words like data warehouse, data architecture, SQL language and the PL/SQL extension.Based on the knowledge gained from theoretical part the application for data quality testing is then designed and developed. The beginning of the theoretical part describes the design of the application from the functionality view to the design of the control tables structure. The implementation of the application in the real pharmaceutical company is described in the following chapters together with the functionality testing on the company’s real data. The end of this diploma thesis contains an evaluation of the implementation process and application functionality testing.

Keywords

testování, datový sklad, ETL, databáze, PL/SQL, datová kvalita

Keywords

data quality, testing, data warehouse, ETL, database, PL/SQL

Language used: Czech

Date on which the thesis was submitted / produced: 6. 4. 2018

Thesis defence

• Date of defence: 25. 1. 2019
• Supervisor: Miloš Maryška
• Reader: Tomas Kasl

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie