Regularization methods in Probabilistic Neural Networks and General Regression Neural Networks.

Grigorii Vinogradov

Bachelor's thesis

Regularizační metody v Probabilistic Neural Networks a General Regression Neural Networks.

Anotácia:

Tato bakalářská práce se zabývá aplikací regularizačních technik v general regression neural networks (GRNN) a probabilistic neural networks (PNN). Regularizace L1 a L2 byla integrována do architektur GRNN a PNN pomocí Bayesovské formulace odhadu parametrů. Na rozdíl od standardního přístupu jádrového odhadu hustoty (KDE) byly v této práci modely přeformulovány pomocí Gaussovských směsí pro odhad hustoty, což umožnilo modelům přejít z neparametrické formulace na parametrickou s minimálními změnami v interpretaci. Modely byly implementovány v jazyce Python a jejich výkonnost byla vyhodnocena na reálných datových sadách. V regresních úlohách vedla regularizace L1 a L2 ke zlepšení výkonnosti modelů se snížením střední kvadratické chyby v rozmezí 3,02% až 4,04%. V klasifikačních úlohách se přesnost zlepšila v rozmezí od 0,36% do 4,44%. V některých datových sadách však bylo pozorováno mírné snížení výkonu, což naznačuje, že účinek regularizace závisí na datech.

Abstract:

This thesis investigates the application of regularization techniques in general regression neural networks (GRNN) and probabilistic neural networks (PNN). L1 and L2 regularization has been integrated into GRNN and PNN architectures using a Bayesian formulation of parameter estimation. In contrast to the standard kernel density estimation (KDE) approach, in this work the models were reformulated using a mixture of Gaussians for density estimation, allowing the models to move from a non-parametric to a parametric formulation with minimal changes in interpretation. The models were implemented in Python and their performance was evaluated on real-word datasets. In regression tasks, L1 and L2 regularization led to improvements in model performance, with mean square error reductions in the range of 3,02% to 4,04%. In classification tasks, accuracy improvements ranged from 0,36% to 4,44%. However, a slight performance decrease was observed in some datasets, suggesting that the effect of regularization is data-dependent.

Kľúčové slová

regularizace, General Regression Neural Networks, Probabilistic Neural Networks, strojové učení

Keywords

General Regression Neural Networks, Probabilistic Neural Networks, regularization methods, machine learning

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 25. 6. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 8. 2025
• Vedúci: Karel Šafr
• Oponent: Pavel Zimmermann

Vysoká škola ekonomická v Praze

Bachelor programme / odbor:
Matematické metody v ekonomii / Datové analýzy a modelování