Selected impacts of missing data problem in economics

Hatice Uenal

Doctoral thesis

Abstract:

Dizertační práce se zaměřuje na specifický ekonomický problém vyplývající z problematikychybějících hodnot v rozsáhlých datových souborech. Obecně kvalitní zpracování data statistické analýzy promítající se do následného rozhodování striktně závisí na kvalitěpoužívaných datových souborů. Zároveň však ideální případ kompletní datové základnys dostatečným rozsahem a reliabilitou v praxi nastává velmi zřídka. Navíc, dosažená kvalitadat přímo souvisí s náklady na jejich sběr.V konkrétních aplikacích stojíme tedy před problémem, jak dosáhnout dostatečně kvalitníhosouboru dat při omezených finančních prostředcích. V aplikacích, které jsou mimořádněnáročné z hlediska rozsahu a kvality dat, pak nastává otázka, zda je možné dosáhnout časovéa finanční úspory ve fázi sběru dat např. zkrácením doby sledování vzorku či zmenšenímcelkového pozorovaného rozsahu souboru při požadavku na dostatečnou kvalitu výslednéhosouboru.Tato práce se zabývá: (i) výzkumem možností kvalitního doplnění chybějících dat doneúplných souborů a zaměřuje se na vyhodnocení celkové kvality zejména s ohledem nareliabilitu a reprezentativnost doplněných souborů; (ii) kvantitativním odhadem možnýchúspor pro situace, kde doplněné soubory vykazují dostatečné kvalitativní charakteristiky.Jelikož daný výzkum není možné provádět pouze v teoretické rovině, věnuje se prácevýzkumu paralelně na třech významných typech datových souborů: ekonomickém, technickodopravníma medicínském. Konkrétně jsou provedeny podrobné rozbory podkladových dat,vybrány a aplikovány vhodné metody doplnění chybějících hodnot a nakonec je statistickyvyhodnocena dosažená kvalita, reliabilita a mohutnost datové základny pro případ (1)podkladových dat pro bankrotní modely, (2) technicko-dopravních dat a (3) dat pacientůnemocných rakovinou.Je rovněž provedena ekonomická analýza možných úspor a práce prezentuje konkrétnídoporučení pro realistickou a ekonomicky vhodnou aplikaci metod nahrazení chybějících datv jednotlivých oborech při zachování reprezentativnosti datových souborů.

Abstract:

Data sources and data quality are indispensable in economical, medical, pharmaceutical orother studies and provide the basis for reliable study results in numerous research questions.Depending on the purpose of use, a high quality of data is a prerequisite. However, with increasingregistry quality, costs also increase accordingly. Considering these time and cost consumingfactors, this work is an attempt to estimate the cost advantages when applying statisticaltools to existing registry data. This includes methodological considerations and suggestionsregarding the evaluation of data quality including factors such as bias and reliabilityafter dealing properly (or not) with missing data (MD), and possible consequences when ignoringthe incompleteness of data. Results for the quality analysis of the gastric cancer patients’data example showed that millions of Euros in study costs can be saved by reducing thetime horizon. On average, €523,126.70 can be saved for every year that the study duration isshortened. Replacing additionally the over 25% of MD in some variables, data quality wasimmensely improved, but still showed quality difficulties, which – beside MD in variables –could be an indication for completely missing entries of patients in the registry. Capturerecapturemethods were therefore discussed to demonstrate how the total completeness in aregistry can be estimated. Since it was not possible to illustrate the CARE method with theexample of the gastric cancer patients due to the given data structure (no access to requiredvariables), other data sets had to be chosen – the publicly accessible data of the amyotrophiclateral sclerosis (ALS) and data of towed vehicles in the City of Chicago. The consequence ofignoring MD was further analyzed using bankruptcy prediction data sets of agribusiness companiesand confirmed the assumption that MD have a negative impact on the data quality, inthis case also regarding the misclassifications of predictions of bankrupted companies. Usingthe decision tree method (known as one of the most suitable methods in predicting financialdistress), the percentage of correctly bankruptcy-predicted of bankrupted companies (one yearto bankruptcy) with MD imputation was 87.5%, whereas it was only 60% when completelyomitting MD. Overall, my findings showed dearly the importance of statistical methods toimprove data quality which in turn helps to avoid drawing biased conclusions due to incompletedata.

Keywords

metoda capture-recapture, Kvalita registru, Kvalita dat

Keywords

registry quality, data quality, capture recapture

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2018

Thesis defence

• Supervisor: doc. Ing. Mgr. Jitka Janová, Ph.D.
• Reader: Danuše Nerudová, prof. Ing., Ph.D., Jaroslav Michálek, doc. RNDr., Zuzana Hübnerová, externi

Mendel University in Brno

Faculty of Business and Economics

Doctoral programme / field:
Economics and Management / Business Management and Economics