Kritické zhodnocení odolnosti metod pro získávání znalostí z databází vůči nekvalitním datům

Jakub Šotlík

Master's thesis

Critical Evaluation of Impact of Bad Data Quality on Methods of Knowledge Discovery in Databases

Abstract:

Tématem diplomové práce je kritické zhodnocení vlivu nekvalitních dat na metody dobývání znalostí z databází. Jako představitel nekvalitních dat byla vybrána vlastnost dat nazývaná datová úplnost, která sleduje neúplná datam také známá jako chybějící data. Práce se rovněž zabývá vlastnostmi neúplných dat a příčinami jejich vzniku. Metody, které jsou v této práci testovány, byly vybrány na základě jejich popularity, zjištěné ze zveřejněných průzkumů. Dle popularity byly vybrány metody rozhodovacích stromů, shlukovací metody, metody lineární a logistické regrese, neuronové sítě a Support Vector Machine. Pro tyto metody je zjišťováno, jak se s neúplnými daty vypořádávají. Metody byly otestovány dle navržených testovacích metodik. Byly použity čtyři různé testovací metody. Testování proběhlo celkem na 11 datových setech. Práce popisuje průběh měření a vyhodnocuje dosažené výsledky.

Abstract:

Theme of the thesis is a critical evaluation of impact of bad data quality on methods of knowledge discovery in databases. As a representative of bad data quality to be evaluated was chosen a property of data named completeness. Completeness measures quality of data by due to the frequency of missing data. The thesis also looks into characteristics of missing data and its cause. Methods that are used in the thesis were chosen by their popularity identified by published polls. Due to the popularity of methods, following methods were chosen: decision trees, linear regression, logistic regression, segmentation methods, neural networks and Support Vector Machine. For these methods approaches how they cope with missing data was found. Methods were tested with designed benchmarks which four were created and used. In total 11 data sets was used for testing. The thesis describes process of testing and evaluates results.

Keywords

Dobývání znalostí z databází, Datová kvalita, Neúplná data

Keywords

Missing Data, Knowledge Discovery in Databases, Data Quality

Language used: Czech

Date on which the thesis was submitted / produced: 4. 4. 2013

Thesis defence

• Date of defence: 27. 1. 2014
• Supervisor: David Pejčoch
• Reader: Milan Šimůnek

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Znalostní technologie