Empirické porovnání metod nahrazování chybějicích hodnot v datech

Alona Ostrenska

Bachelor's thesis

Empirical comparison of imputation methods for missing values in data

Abstract:

Chybějící hodnoty jsou přítomné ve všech typech dat, jako jsou například různé průzkumy, společenskovědní informace atd. V mnoha aplikacích je nezbytné nahradit chybějící pozorování, aby byla zachována velikost datového souboru potřebná pro sledované statistiky. V práci jsou nejdříve představeny kategorie příčin chybění pozorování v datech a problémy s nimi spojené. Dále práce seznamuje s běžnými metodami imputace chybějících hodnot a je vysvětlena jejích aplikace na reálných datech v kontextu lineární regrese. Následně se ověřují předpoklady lineárních regresních modelů na datech s umělé vytvořenými chybějícími pozorováními. Tato pozorování jsou odstraněna pomocí zmíněných mechanismů a různého podílu chybění hodnot s následnou imputací sedmi zkoumanými metodami. Regresní modely zkonstruované na základě takto imputovaných dat se pak statisticky verifikují. Nakonec se imputované modely porovnávají mezi sebou pomocí různých statistik a vizualizací. Dále se navrhují konkrétní imputační metody v případě faktického problému chybějících dat.

Abstract:

Missing values are present in all types of data such as different surveys, socio-scientific information etc. In many applications, it is necessary to replace missing observations to maintain the size of the dataset needed for the statistics. This bachelor thesis at first place introduce the categories of causes of missing data and the problems connected with them. The next step is to acquaint with common methods of imputation of missing values and the explanation of applicating those methods on real data in the context of linear regression. Then the assumptions of linear regression models that are based on data with artificially created missing observations are verified. These observations are removed using the mentioned mechanisms and different proportion of missing, with seven subsequent imputation methods. Regression models constructed based on such imputed datasets are then statically verified. Finally, imputation models are compared using different statistics and visualizations and is suggested possible solution - particular methods in case of a real problem of incomplete data.

Keywords

chybějící hodnoty, metody imputace, mechanismy chybění pozorování

Keywords

missing data mechanisms, imputation methods, missing values

Language used: Czech

Date on which the thesis was submitted / produced: 3. 2. 2017

Thesis defence

• Date of defence: 21. 6. 2017
• Supervisor: Vladimír Holý
• Reader: Jan Zouhar

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Kvantitativní metody v ekonomice / Matematické metody v ekonomii