Risk-Sensitive Reinforcement Learning

Bc. Marek Kadlčík

Bachelor's thesis

Anotácia:

Cílem standardních metod zpětnovazebního učení je maximalizovat očekávaný budoucí zisk. Ukazujeme motivaci pro zvážení risku při rozhodování, popisujeme zavedené definice risku a formulujeme odpovídající účelové fukce v kontextu zpětnovazebního učení. Nakonec poskytujememe rozsáhlý přehled existujících metod v literatuře pro jejich optimalizaci a uvádíme možné budoucích směry v této oblasti.

Abstract:

Standard reinforcement learning methods aim to maximize the average future returns. We show a motivation for consideration of risk in decision-making, describe established definitions of risk and formulate corresponding risk-constrained and risk-penalizing objectives in context of reinforcement learning. Finally, we provide an extensive overview of existing methods in the literature for their optimization and state possible future directions in the field.

Keywords

reinforcement learning, Markov decision process, dynamic programming, machine learning, Monte Carlo, Q-Learning, REINFORCE, Actor-critic, expected utility, mean-variance, conditional value at risk, CVaR, risk of ruin, chance-constraint

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 25. 5. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 7. 2021
• Vedúci: doc. RNDr. Vojtěch Řehák, Ph.D.
• Oponent: RNDr. Petr Novotný, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Informatics / Artificial Intelligence and Natural Language Processing