Rekonstrukce rozdělení pravděpodobnosti z odhadů zobecněných momentů

Bc. Martin Špetlík

Master's thesis

Reconstruction of distribution from estimated generalized moments

Abstract:

Cílem této diplomové práce je zdokonalení algoritmu pro rekon- strukci rozdělení pravděpodobnosti. Aproximace hustoty pravdě- podobnosti je provedena pomocí metody maximální entropie. Na základě odhadnutých zobecněných momentů je z množiny všech přípustných řešení vybráno to, které má maximální Shannonovu en- tropii. Pro výpočet momentů jsou použity Legendreovy polynomy. Při řešení úlohy může docházet k přeučení, které se projevuje zvl- něním hustoty pravděpodobnosti. Tento efekt se zvyšuje s rostoucí chybou v odhadu momentů. K potlačení zvlnění je do původního funkcionálu přidána regula- rizace, která spočívá v penalizaci druhé derivace logaritmu funkce hustoty pravděpodobnosti. Nový přístup je porovnán s tím před- chozím na šesti vytipovaných rozděleních. Pro srovnání je použita Kullback-Leibler divergence. Při aplikaci regularizace dochází ke zlepšení aproximace hustoty pravděpodobnosti. Výsledky původní i regularizované metody maximální entropie jsou porovnány s přímou interpolací distribuční funkce pomocí spline funkcí. V tomto případě jsou všechny přístupy provedeny nad daty získanými klasickou metodou Monte Carlo a víceúrovňovou meto- dou Monte Carlo. Také z tohoto srovnání vychází nejlépe metoda s regularizací. Původní algoritmus metody maximální entropie je rozšířen na re- konstrukce bivarietních rozdělení pravděpodobnosti.

Abstract:

The aim of this diploma thesis is to improve the algorithm for the reconstruction of the probability distribution. The approximation of the probability density function is performed using the maximum entropy method. Based on the estimated generalized moments, the one with the maximum Shannon entropy is selected from the set of all admissible solutions. Legendre polynomials are used to calculate moments. During the solution, an overfitting may occur, which is manifested by a ripple in the probability density function. This effect increases with increasing error in moments estimates. To suppress the ripple, regularization is added to the original functi- onal, which is based on penalizing the second derivative of the lo- garithm of the probability density function. The new approach is compared with the previous one on six selected probability distri- butions. The Kullback-Leibler divergence is used for comparison. The approximation is improved when applying regularization. The results of the original and regularized method of maximum ent- ropy are compared with the direct interpolation of the distribution function using spline functions. In this case, all approaches are per- formed using data obtained by the Monte Carlo method and the multilevel Monte Carlo method. Also in this comparison, the me- thod with regularization works best. The original algorithm of the maximum entropy method is extended to reconstructions of bivariate probability distributions.

Keywords

rekonstrukce rozdělení pravděpodobnosti, metoda maximální entropie, regularizace, předpodmínění, spline interpo- lace distribuční funkce, bivarietní rozdělení pravděpodobnosti

Language used: Czech

Date on which the thesis was submitted / produced: 1. 6. 2020

Thesis defence

• Supervisor: doc. Mgr. Jan Březina, Ph.D.

Technical University of Liberec

Faculty of Mechatronics, Informatics and Interdisciplinary Studies

Master programme / field:
Electrical Engineering and Informatics / Information Technology