Automatická analýza kvality tabulkových datasetů

Václav Sobotka

Bachelor's thesis

Automated quality analysis on tabular datasets

Anotácia:

Práce se zaměřuje na samostatné tabulkové datasety a kvalitativní dimenze uchopitelné na této úrovni. Text diskutuje časté kvalitativní defekty tabulkových dat, jejich zdroje a možnosti automatické detekce těchto závad. Důraz je kladen na problémy pramenící z přímé interakce uživatelů se soubory datasetů. Mechanismy umožňující identifikaci popisovaných kvalitativních defektů byly implementovány v nástroji pro automatickou analýzu kvality tabulkových datasetů. Nástroj poskytuje výstupy analýzy v podobě reportu ve formátu HTML a ve formě strojově zpracovatelného souboru ve formátu JSON. Druhý ze jmenovaných výstupů je určen k dalšímu zpracování, například jako vstup pro aplikaci umožňující pohodlnou korekci nalezených závad.

Abstract:

The thesis targets some of data quality dimensions recognizable on the level of a solitary tabular dataset file (CSVs, spreadsheets). Within these quality dimensions, common issues, their sources, and the possibilities of their automated detection are discussed. Issues stemming from direct human interaction with the dataset are emphasized. Methods for identification of such issues were implemented in a tool aiming to provide automated quality analysis in the discussed area. The tool provides the results of the analysis in two forms, a human-readable report (HTML) and a machine-readable file (JSON). The latter is intended for further processing, e.g. as an input for an application allowing efficient semi-automated correction of the issues found during the analysis.

Keywords

CSV, Data quality, Tabular datasets

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 26. 5. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 22. 6. 2020
• Vedúci: doc. RNDr. Tomáš Brázdil, Ph.D.
• Oponent: Mgr. Jiří Vahala

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Informatics / Artificial Intelligence and Natural Language Processing