AutoML: experimentalní přístup k předzpracování dat

Jan MRÁZ

Master's thesis

AutoML: data preprocessing experimental approach

Abstract:

This thesis focuses on data preprocessing as one crucial step of Automated machine learning (AutoML). Investigation of data preprocessing of the current state-of-the-art methods is a significant part of this thesis, which identifies flaws in current AutoML tools like TPOT or auto-sklearn. Based on results gathered from the analysis group of experiments, such as scaling features based on statistical properties, imputation as a combination of several methods, outlier detection, and others, has been designed. Evaluation of each experiment has been done using a score that hardly penalizes imbalanced results across different datasets, which were chosen for evaluation (four datasets for regression and four for classification task). Based on the results of the experiments, a set of the combined pipeline has been created and evaluated. The results of this thesis show that these experiments can significantly reduce the time and effort required for data preprocessing while maintaining or improving the resulting models' quality. Results suggest automated data preprocessing will be increasingly critical for the future of AutoML development

Abstract:

Tato diplomová práce se zabývá předzpracováním dat v rámci AutoML. Důležitou součásti tohoto výzkumu je analýza aktuálních AutoML nástrojů, jako TPOT či auto-sklearn, které objevily několik nedostatků v oblasti předzpracování dat. Práce obsahuje sadu navržených experimentů, které úspešně řeší nalezené nedostatky. Tyto experimenty zahrnují například provedení detekce odlehlých hodnot, sjednocení škál napříč proměnnými pomocí statistických vlastností, či predikce chybějících hodnot na základě průměru různých prediktorů. Pro testování byly zvoleny čtyři datasety pro regresní úlohu a čtyři datasety pro klasifikační úlohu. Zhodnocení jednotlivých experimentů bylo provedeno s pomocí nově navrženého skóru, který penalizoval nevyrovnané výsledky napříč úlohami a datasety. Na základě těchto výsledků byla zvolena a otestována kombinace jednotlivých experimentů, jenž dosáhly významného zlepšení oproti referenčním výsledkům. Celková zjištění této práce poukazují na důležitost dalšího výzkumu v oblasti automatizovaného předzpracování dat v rámci AutoML.

Keywords

AutoML, Předzpracování dat, automatizace

Language used: English

Date on which the thesis was submitted / produced: 2. 5. 2023

Thesis defence

• Supervisor: RNDr. Eduard Bartl, Ph.D.

Palacký University Olomouc

Faculty of Science

Master programme / field:
Computer Science / Computer Science - Specialization in Artificial Intelligence