Data Quality Management in Data Integration

Rithy Ly

Master's thesis

Abstract:

Integrace dat byla považována za jednu z důležitých fází před datovou analýzou, shromažďováním dat z více zdrojů a kombinováním do jednoho zdroje dat, jako je datový sklad, který lze použít pro další analýzu. Při integraci dat však obvykle vznikají problémy s kvalitou dat, například data se mohou skládat z různých formátů, datových typů dostupných v různých strukturách a formách, což způsobuje nejen chyby, ale také může zastavit proces integrace dat. Určitý problém navíc způsobí obrovskou chybu v analýze dat, pokud je vzorec odkazován na chybná data. Proto je při správě dat rozhodující, jak spravovat kvalitu dat pro účinnou integraci dat, a je nutné mít vhodné metody nebo pokyny ke zlepšení kvality dat při integraci dat. Tato výzkumná práce navrhuje šest různých směrnic jako řešení pro řešení problémů se špatnou kvalitou dat. Tyto pokyny zahrnují použití omezení integrity, úplnosti dat, dávkových operací, konzistence formátu, optimalizace a jedinečnosti dat. Abychom tyto pokyny potvrdili, provedli jsme dva experimenty s použitím a bez použití pokynů, výsledek ukazuje výrazně pozitivní vliv na použitelnost a účinnost. Pokyny jsou navíc nezávislé na platformě, což znamená, že je lze použít na všechny nástroje pro integraci dat. Prostě jednoduše aplikují pokyny na jejich problémy pomocí katalogu pokynů, který byl mapován s rozměry kvality.

Abstract:

Data integration has been considered as one of the important stages before the data analytic, gathering data from multiple sources and combining into a single data source such as data warehouse that can be used for further analysis. However, working through data integration, there are usually posing data quality problems, for instance, data might consist of different formats, data types, available in various structures and forms, this cause not only errors but also may stop the data integration process. Moreover, a certain problem will produce a huge mistake in data analyses if a formula is referenced to the error data. Therefore, how to manage data quality for effective data integration is critical in data management and it is necessary to have proper methods or guidelines for improving data quality in data integration. This research thesis proposes six different guidelines as a solution to solve poor data quality issues. Those guidelines involve using integrity constraint, data completeness, batch operations, format consistency, optimization, and data uniqueness. In order to validate those guidelines, we conducted two experiments by applying with and without guidelines, the result shows significantly positive effect on usability and efficiency. Moreover, the guideline is platform independent, which means that it can be used to all data integration tools. They just simply apply the guidelines to their issues by using the guideline catalogue which was mapped with quality dimensions.

Keywords

Data Quality, Quality-Aware, Data Quality Dimensions, Data Integration, Extract-transform-load, Talend Open Studio.

Language used: English

Date on which the thesis was submitted / produced: 20. 7. 2020

Thesis defence

• Date of defence: 16. 9. 2020
• Supervisor: doc. Mouzhi Ge, Ph.D.
• Reader: RNDr. Stanislav Chren

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Service Science, Management and Engineering (eng.)