Nástroje pro detekci a prevenci přeučení modelů v úlohách strojového učení

David Vojáček

Master's thesis

Tools for detecting and preventing model overfitting in machine learning

Abstract:

Tato práce se zabývá problematikou přeučení (angl. overfitting) v modelech strojového učení. Identifikuje, analyzuje a zkoumá metody detekce a prevence přeučení, včetně regularizace, early-stopping a cross-validation. V práci jsou popsány základní principy a vlastnosti modelů strojového učení, zejména pak vysoká závislost schopnosti vhodného učení na datech úlohy. Experimenty na simulovaných i reálných datech ilustrují účinnost zmíněných technik. Taktéž jsou vyznačeny důležité projevy overfitu i vhodně naučeného modelu u složitých modelů s vysokým počtem parametrů. Jsou prezentovány výsledky a závěry z experimentů, které poskytují užitečné poznatky pro efektivní využití modelů strojového učení v praxi.

Abstract:

This thesis focuses on the problem of overfitting in machine learning models. It identifies, analyzes and explores methods for detecting and preventing overfitting, including regulization, early-stopping and cross-validation. The thesis describes the basic principles and properties of machine learning models, in particular the high dependency of the fitting ability on the task data. Experiments on simulated and real data illustrate the effectiveness of said techniques. Important manifestations of overfitting as well as appropriate learning in complex models with a high number of parameters are also highlighted. Results and conclusions from the experiments are presented, providing useful insights for the effective use of machine learning models in practice.

Keywords

strojové učení, přeučení, umělé neuronové sítě, XGBoost, regularizace, SGD, učící konstanta, křížová validace, ztrátová funkce, trénovací data, testovací data, validační data, kapacita modelu, hyper-parametry

Keywords

Machine Learning, overfitting, Artificial Neural Networks, XGBoost, regularization, SGD, learning rate, cross-validation, loss function, training data, testing data, validation data, capacity of a model, hyper-parameters

Language used: Czech

Date on which the thesis was submitted / produced: 30. 4. 2024

Thesis defence

• Date of defence: 6. 6. 2024
• Supervisor: Jan Kracík
• Reader: Pavla Hrušková

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / field:
Výpočetní a aplikovaná matematika / Aplikovaná matematika