Detekce odlehlých pozorování – aplikace metod na data IT trhu

Robert Arzumanov

Master's thesis

Outlier Detection – an application to IT market data

Anotácia:

Detekce odlehlých pozorování se již dávno stala často používaným krokem ke zkvalitnění datových souborů před jejich analýzou a následně i alternativním způsobem zkoumání dat. Praktická aplikace metod detekce outlierů se postupem času stále rozšiřuje, stejně jako i řešené množství úloh. Tato práce si klade za cíl prozkoumání, výběr vhodných metod a aplikaci za účelem řešení konkrétního praktického problému. Jde o vyhledání chybných hodnot a vícerozměrnou detekci odlehlých bodů v značně rozsáhlých multidimenzionálních souborech z trhu ICT. V průběhu řešení problému se implementovaly a naprogramovaly několik metod detekce -- jak jednorozměrných, tak i vícerozměrných algoritmů. Dále se také demonstruje praktické využití detekce outlierů, analyzují se vhodnost, výhody a nevýhody metod s návrhem případných zlepšení nebo alternativních postupů. Výsledkem se podařilo najít chybné hodnoty v datech a naplnit jiné cíle zkoumání stanovené společností IDC CEMA, s.r.o.

Abstract:

Outlier identification has been a frequently-used data cleaning procedure for several decades, later on becoming an alternative approach to viewing and analysing data. Practical application of outlier identification methods and tasks solved widely vary and continuously develop over time. This thesis sets a goal of overview and selection of the most appropriate methods for subsequent application in order to solve a concrete practical problem. The aim is to clean the obtained datasets from erroneous observations and perform various multivariate outlier detection procedures. Several detection algorithms were programmed and applied to the given dataset. Practical results are demonstrated, discussion on suitability, advantages and disadvantages is held, including improvement or alternatives suggestions. As a result, errors were filtered out and several other problems set by IDC CEMA, s.r.o. were solved.

Kľúčové slová

IDC, RStudio, ICT, distance-based, vícerozměrná identifikace, detekce odlehlých pozorování

Keywords

IDC, RStudio, outlier identification, ICT, distance-based outliers, multivariate outlier detection

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 13. 1. 2014

Obhajoba závěrečné práce

• Obhajoba proběhla 9. 9. 2014
• Vedúci: Michal Černý
• Oponent: Jan Pelikán

Vysoká škola ekonomická v Praze

Master programme / odbor:
Kvantitativní metody v ekonomice / Ekonometrie a operační výzkum