Čištění dat pomocí strojového učení

Alisher Baibussinov

Bachelor's thesis

Data cleaning using machine learning

Abstract:

Tato práce zkoumá použitelnost a efektivitu využití algoritmů strojového učení pro úlohy čištění dat. Prostřednictvím komplexního přehledu existující literatury a odborných zdrojů jsou analyzována různá řešení čištění dat, zejména s důrazem na použitelnost přístupů strojového učení. Teoretická východiska zahrnují témata, jako jsou hodnocení kvality dat, průzkumná analýza dat, zpracování chybějících dat, metodiky detekce odlehlých hodnot a techniky výběru rysů. V praktické části této práce je navrženo a implementováno konkrétní řešení založené na strojovém učení pro vícerozměrnou detekci odlehlých hodnot. Jako primární algoritmus pro detekci odlehlých hodnot je použit algoritmus Support Vector Machines (SVM), a to díky jeho schopnosti zpracovávat komplexní a vícerozměrná data. Pro vyhodnocení vhodnosti a výkonnosti navrženého přístupu je opatrně vybrán testovací datový soubor.

Abstract:

This paper investigates the applicability and effectiveness of using machine learning algorithms for data cleaning tasks. Through a comprehensive review of existing literature and scholar sources, various data cleaning solutions are analysed, with particular emphasis on the applicability of machine learning approaches. The theoretical background includes topics such as data quality assessment, exploratory data analysis, missing data handling, outlier detection methodologies, and feature selection techniques. In the practical part of this work, a specific machine learning based solution for multivariate outlier detection is proposed and implemented. Support Vector Machines (SVM) algorithm is used as the primary algorithm for outlier detection due to its ability to handle complex and high dimensional data. A test dataset is carefully selected to evaluate the suitability and performance of the proposed approach.

Keywords

čištění dat, zpracování dat, příprava dat, strojové učení, detekce odlehlých hodnot, Support Vector Machines, kvalita dat, průzkumná analýza dat, chybějící data, výběr prediktorů, python

Keywords

data cleaning, data processing, data preparation, machine learning, outlier detection, Support Vector Machines, data quality, exploratory data analysis, missing data, feature selection, python

Language used: Czech

Date on which the thesis was submitted / produced: 16. 3. 2024

Thesis defence

• Date of defence: 20. 5. 2024
• Supervisor: Ing. Jan Pavlík, Ph.D.
• Reader: Karel Kubata, Ph.D.

Czech University of Life Sciences Prague

Faculty of Economics and Management

Bachelor programme:
Informatics