Statistický návrh experimentu pro regresní modely

Marcel Smolík

Bachelor's thesis

Design of Experiments for Regression Models

Abstract:

V této bakalářské práci se budeme zabýváme designem experimentu pro lineární regresní modely za použití Bayesovských metod. Naším cílem je najít vstupní regresní vektor takový, aby se chyba odhadu parametrů zmenšila co nejvíce. V Bayesovských metodách se díváme na parametry jako na náhodné veličiny, což nám přináší výhodu oproti klasickým metodám, kdy jsme schopni již z malého počtu dat získat rozumná tvrzení. Dále jsme schopni do našeho modelu zanést předchozí zkušenost, což nám dává výhodu oproti klasickým metodám. Text obsahuje stručné uvedení do Bayesovské statistiky a následně odvození některých vybraných modelů společně s parametrickým modelem lineární regrese, ze kterého následně vychází rozhodovací úloha. Vše, až na hledání výsledného vstupního regresního vektoru, je odvozeno analyticky. V textu je následně příklad ukazující správnost řešení, tedy že vskutku algoritmus volí vstupní vektory tak, aby minimalizoval chybu parametrů. Následně je upozorněno na možné chování algoritmu v případě, nevhodně zvolených bázových funkcí, kde volené experimenty dosahují menší chyby na začátku, ale pro větší množství dat můžou být náhodné experimenty účinnější, což je důsledek nesprávné apriorní informace představované zvolenými bázovými funkcemi.

Abstract:

In this bachelor thesis, we study the design of an experiment for linear regression models using Bayesian methods. Our goal is to find an input regression vector such that the parameter estimation error is minimized. In Bayesian methods, we view the parameters as random variables, which gives us an advantage over classical methods where we are able to obtain reasonable statements from a small amount of data. Furthermore, we are able to incorporate prior experience into our model, which gives us an advantage over classical methods. The text includes a brief introduction to Bayesian statistics and then the derivation of some selected models together with a parametric linear regression model from which the decision problem is then derived. Everything, except the search for the resulting input regression vector, is derived analytically. An example is then given in the text showing the correctness of the solution, i.e. that indeed the algorithm chooses the input vectors to minimize the parameter error. The possible behaviour of the algorithm in the case of, inappropriately chosen basis functions is then pointed out, where the chosen experiments achieve a smaller error at the beginning, but for larger amounts of data, random experiments may be more efficient, as a consequence of the incorrect a priori information represented by the chosen basis functions. Translated with www.DeepL.com/Translator (free version)

Keywords

Bayesovská statistika, lineární regrese, statistický návrh experimentu

Keywords

Bayesian statistics, linear regression, statistical design of experiment

Language used: Czech

Date on which the thesis was submitted / produced: 30. 4. 2023

Thesis defence

• Date of defence: 30. 5. 2023
• Supervisor: Jan Kracík
• Reader: Michal Béreš

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Bachelor programme:
Výpočetní a aplikovaná matematika