Analýza funkčnosti zobecněné metody nejmenších čtverců při odhadu regresních parametrů za podmínek heteroskedasticity

Roman Cicko

Master's thesis

Analysis of Functionality of the Generalized Least Squares Method of Parameter Estimation under Heteroscedasticity

Abstract:

V teoretické části diplomové práce je shrnuta lineární regrese a jednotlivé fáze stavby regresního modelu. Rovněž je zde popsána metoda nejmenších čtverců a podmínky, které musí splňovat náhodné složky modelu, aby byl odhad pomocí této metody přesný. Další část je věnována nesplnění jedné z podmínek – homoskedasticity. Jedním z řešení, jak vyřešit heteroskedasticitu, je zobecněná metoda nejmenších čtverců. Také je zde popsán odhad rozptylů náhodných složek a měření kvality odhadu koeficientů pomocí střední kvadratické chyby. Experimentální část je zaměřena na simulace, ve kterých je zkoumáno, v jakém případě je lepší použít metodu nejmenších čtverců, a kdy lepší odhady získáme pomocí zobecněné metody nejmenších čtverců. Celá simulace probíhá v programu MS Excel, kde jsou postupně testována různá nastavení parametrů Ai, parametrů Bi, různé modely odhadu rozptylu a různé velikosti počtu hodnot v simulaci. Simulací bylo zjištěno, že nastavení parametrů Ai, parametrů Bi ani různé modely odhadu rozptylu nemají vliv na kvalitu odhadu. Při známém rozptylu dává lepší odhad parametrů zobecněná metoda nejmenších čtverců. Pokud jsou ale rozptyly odhadovány, tak při n=50 byl odhad parametrů přesnější metodou nejmenších čtverců. V situaci, kdy byl rozptyl opět odhadován, ale n=200, tak už opět dávala přesnější odhad zobecněná metoda nejmenších čtverců.

Abstract:

Linear regression and single phases of the regression model construction are summarized in the theoretical part. Least squares method and the conditions random part of model which have to be fulfilled to make an accurate estimate using by this method are also described. Next part is devoted to the failure non-compliance one of the conditions – homoscedasticity. Generalized least squares method i sone of the mothod how to solve heteroscedasticity. Variance estimation and measuring the quality of the estimate using the mean square error i salso described in this thesis. Experimental part of the thesis was focused on simulations, in which is investigated when it is better to use the least squares method and when better estimation are reached by generalized least square method. Whole simulation is made in MS Excel, where are tested gradually different settings of parameters Ai, different settings of parameters Bi, different models of variance estimation and different sizes of the number of values in the simulation. The simulation showed that the settings of the parameters Ai, different settings of parameters Bi and the different models of variance estimation do not affect the quality of the parametr estimation. With the set variance the generalized least squares method gives a better estimate of the parameters. However if the variances are estimated then at n=50 the estimation of the parameters was more accurate by the least squares method. In a situation where the variance was estimated again but n= 200 the generalized least squares method gave a more accurate estimate than least squares method.

Keywords

Metoda nejmenších čtverců, zobecněná metoda nejmenších čtverců, heteroskedasticita, střední kvadratická chyba

Keywords

The least square method, the generalized least square method, heteroscedasticity, mean squared error

Language used: Czech

Date on which the thesis was submitted / produced: 29. 4. 2022

Thesis defence

• Date of defence: 30. 5. 2022
• Supervisor: Filip Tošenovský
• Reader: Josef Tošenovský

VSB – Technical University of Ostrava

Fakulta materiálově-technologická

Master programme / field:
Management kvality a řízení průmyslových systémů / Management kvality