Nástroje pro detekci a prevenci přeučení modelů v úlohách strojového učení

David Vojáček

Diplomová práce

Tools for detecting and preventing model overfitting in machine learning

Anotace:

Tato práce se zabývá problematikou přeučení (angl. overfitting) v modelech strojového učení. Identifikuje, analyzuje a zkoumá metody detekce a prevence přeučení, včetně regularizace, early-stopping a cross-validation. V práci jsou popsány základní principy a vlastnosti modelů strojového učení, zejména pak vysoká závislost schopnosti vhodného učení na datech úlohy. Experimenty na simulovaných i reálných datech ilustrují účinnost zmíněných technik. Taktéž jsou vyznačeny důležité projevy overfitu i vhodně naučeného modelu u složitých modelů s vysokým počtem parametrů. Jsou prezentovány výsledky a závěry z experimentů, které poskytují užitečné poznatky pro efektivní využití modelů strojového učení v praxi.

Abstract:

This thesis focuses on the problem of overfitting in machine learning models. It identifies, analyzes and explores methods for detecting and preventing overfitting, including regulization, early-stopping and cross-validation. The thesis describes the basic principles and properties of machine learning models, in particular the high dependency of the fitting ability on the task data. Experiments on simulated and real data illustrate the effectiveness of said techniques. Important manifestations of overfitting as well as appropriate learning in complex models with a high number of parameters are also highlighted. Results and conclusions from the experiments are presented, providing useful insights for the effective use of machine learning models in practice.

Klíčová slova

strojové učení, přeučení, umělé neuronové sítě, XGBoost, regularizace, SGD, učící konstanta, křížová validace, ztrátová funkce, trénovací data, testovací data, validační data, kapacita modelu, hyper-parametry

Keywords

Machine Learning, overfitting, Artificial Neural Networks, XGBoost, regularization, SGD, learning rate, cross-validation, loss function, training data, testing data, validation data, capacity of a model, hyper-parameters

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 30. 4. 2024

Obhajoba závěrečné práce

• Vedoucí: Jan Kracík
• Oponent: Pavla Hrušková

VŠB – Technická univerzita Ostrava

Fakulta elektrotechniky a informatiky

Magisterský studijní program / obor:
Výpočetní a aplikovaná matematika / Aplikovaná matematika