Reinforcement Learning of Risk-Averse Policies in Markov Decision Processes

Bc. Jiří Vahala

Master's thesis

Anotácia:

Optimalizace průměrné kumulované odměny za nejistoty výsledku je stěžejní problém v mnoha aplikacích. Typické metody posilovaného učení se soustředí pouze na maximalizaci průmřené kumulované odměny bez jakéhokoli přihlížení k risku. Tato práce shrnuje již existujicí metody zaobírající se maximalizací nejistého výsledku a navrhuje nový algoritmus posilovaného učení Ralf0, který optimalizuje strategie s vědomím nejistotý výsledku bez jakékoliv přidané doménové znalosti nebo předpokladů ohledně řešeného problému. Následně je algoritmus Ralf0 implementován a otestován na základních avšak škálovatelných příkladech. Dále je provedeno porovnání se související prací. V závěru jsou popsány limity a defekty algoritmu Ralf0 a navržena jejich možná řešení a doporučení pro budoucí výzkum.

Abstract:

Optimizing the expected cumulative reward under uncertainty is a crucial problem in many applications. A typical reinforcement learning approach is to maximize the expected cumulative reward without any sense of risk. In this thesis, we summarize already existing risk-averse learning techniques and introduce a new reinforcement learning algorithm Ralf0, which optimizes risk-averse policies without any prior knowledge and assumptions about the problem domain. An implementation of Ralf0 is provided and tested on basic, yet scalable examples. Also, a comparison with related work is performed. The limitations and defects of Ralf0 are described and possible solutions and future work proposed.

Keywords

Ralf0, Risk-averse, Reinforcement learning, Policy, MCTS, MDP

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 20. 5. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2019
• Vedúci: doc. RNDr. Tomáš Brázdil, Ph.D.
• Oponent: Mgr. Branislav Bošanský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Informatics / Artificial Intelligence and Natural Language Processing