Sampling Methods for Risk-Averse MDP Solvers

Bc. Václav Nevyhoštěný

Bachelor's thesis

Abstract:

Mnoho situací v reálném světě v oborech jako robotika, ekonomie, atd., mohou být modelované jako stochastická prostředí s omezeními. Je známo, že nalezení optimálního chování v těchto prostředích je NP-hard. Formálně je definujeme pomocí omezených Markovových rozhodovacích procesů. Tato práce se zaměřuje na vzorkovací metody plánovacích algoritmů pro MDPs rozšířené o omezení rizika. Navrhuje nový algoritmus DEBRA, který využívá vzorkování na bázi algoritmu DESPOT a výpočet strategie z algoritmu Ralph. DEBRA a Ralph, který používá vzorkování založené na UCT, jsou následně experimentálně porovnány na řadě benchmarků Hallway Game. Většina z nich je malých a zaměřují se na problematické situace, ale algoritmy byly otestovány i ve velkých prostředích. Práce obsahuje diskuzi k výsledkům, která se zaměřuje na výkon, vlastnosti a chování vzorkovacích algoritmů. Práce rovněž obsahuje implementaci obou algoritmů. Při evaluaci bylo zjištěno, že algoritmus DEBRA předčí algoritmus Ralph ve skoro všech ohledech, vykazujíc lepší výkon a škálovatelnost. Práce nakonec navrhuje možná zlepšení algoritmu DEBRA.

Abstract:

Many real-world situations in fields such as robotics, economics, etc., can be modeled as stochastic environments with constraints. Finding optimal behavior in these environments is known to be NP-hard. They are formally defined using constrained Markov decision processes. This thesis focuses on the sampling methods of planning algorithms for MDPs extended for a risk constraint. It introduces a new algorithm DEBRA using DESPOT-based sampling and policy computation from Ralph. DEBRA and Ralph, which is using UCT-based sampling, are then experimentally compared on a series of Hallway Game benchmarks; most of which are small, depicting problematic situations, but the algorithms were also tested in large environments. The thesis contains discussions of the results, focusing on the sampling algorithms' performance, features, and behavior. The thesis also provides the implementations of said algorithms. DEBRA was found to be the superior algorithm in almost every aspect, showing great performance and scalability. The thesis then suggests directions for improvement of the DEBRA algorithm for risk-averse planning.

Keywords

CMDP, Planning, Risk-aversion, UCT, DESPOT, Constrained reinforcement learning, Hallway Game, Ralph, DEBRA

Language used: English

Date on which the thesis was submitted / produced: 18. 5. 2023

Thesis defence

• Date of defence: 26. 6. 2023
• Supervisor: RNDr. Petr Novotný, Ph.D.
• Reader: RNDr. Vít Musil, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics