Simulační studie lasso regrese a elastic net regrese v přítomnosti skupinových efektů

Jakub Chládek

Bachelor's thesis

Simulation study of lasso regression and elastic net regression in the presence of grouping effects

Abstract:

Tato bakalářská práce se věnuje popisu a analýze vlastností dvou penalizačních regresních metod, lasso regrese a elastic net regrese. Tyto metody byly navrženy jako alternativa ke klasické metodě nejmenších čtverců, která má dva nedostatky spojené s predikcí dat a výběrem proměnných z modelu. Obě analyzované metody poskytují řešení pro tyto nedostatky, za což vděčí jejich schopnosti smršťovat koeficienty jednotlivých proměnných směrem k nule. Jejich rozdílný přístup k volbě proměnných, stejně jako rozdílná přesnost predikce, je zkoumána prostřednictvím simulační studie. Cílem práce je zjistit, která z metod poskytuje lepší výsledky v rámci těchto dvou zkoumaných aspektů. Také se zabývá identifikací konkrétních situací, ve kterých daná metoda pracuje lépe a snaží se odůvodnit čím to je způsobeno. V analýze je upřena obzvlášť velká pozornost na situace, ve kterých se pracuje se skupinami vysoce korelovaných proměnných. Naivní verze elastic net regrese, která je použita v praktické části analýzy, dokáže odhalit skupinový efekt korelovaných proměnných. Také se umí lépe vypořádat se situacemi, ve kterých je počet proměnných mnohem větší než počet pozorování. To ve výsledku pramení, v porovnání s lasso regresí, do její lepší predikční schopnosti i do větší kontroly koeficientů při výběru proměnných.

Abstract:

This bachelor thesis is focused on the description and analysis of the properties of two penalty regression methods, lasso regression and elastic net regression. These two methods were proposed as an alternative to the ordinary least squares method, which has two shortcomings related to data prediction and variables selection from the model. Both methods provide a solution to these shortcomings, which is due to their ability to shrink the coefficients of particular variables towards zero. Their different approach to the selection of variables, as well as their different predictive accuracy is analysed through a simulation study. The aim of this thesis is to find out which of the methods provides better results within these two aspects. It also deals with the identification of specific situations in which the method works better and tries to justify what it is caused by. The analysis pays attention to situations in which groups of highly correlated variables are used. The naive version of the elastic net regression, that is used in the analysis, proved to be able to reveal the grouping effect of correlated variables. It is also better in dealing with situations, where the number of variables is much larger than the number of observations. This results in its better prediction ability, as well as in its more reliable control of the coefficients in the selection of variables.

Keywords

lasso regrese, elastic net regrese, predikční schopnost, výběr proměnných, skupinový efekt

Keywords

lasso regression, elastic net regression, predictive ability, variables selection, grouping effect

Language used: Czech

Date on which the thesis was submitted / produced: 12. 12. 2021

Thesis defence

• Date of defence: 27. 1. 2022
• Supervisor: Lukáš Frýd
• Reader: Ondřej Sokol

Vysoká škola ekonomická v Praze

Bachelor programme / field:
Kvantitativní metody v ekonomice / Statistika a ekonometrie