Pareto Front Estimation in Risk-Constrained Markov Decision Processes

Bc. Martin Kurečka

Diplomová práce

Anotace:

Předmětem práce je optimalizace Markovovských rozhodovacích procesů s omezením (CMDP) pomocí metody MCTS. Cílem CMDP je nalézt strategii maximalizující odměnu při současném udržení penalizace pod předem danou hranicí. Náš přínos je dvojí. Za prvé podrobně zkoumáme stávající algoritmy založené na MCTS (jmenovitě CC-POMCP a RAMCP) a demonstrujeme koncepční problémy v jejich návrhu. Za druhé představujeme Pareto UCT, což je nový algoritmus překonávající zjištěné problémy. Algoritmus je založen na aproximaci Pareto-křivek, které popisují optimální kompromisy mezi odměnou a penalizací. Závěrečná kapitola práce obsahuje komplexní experimentální vyhodnocení a srovnání těchto tří algoritmů.

Abstract:

The topic of the thesis is the optimisation of constrained Markov decision processes (CMDPs) using Monte Carlo tree search. CMDPs aim to find a control policy maximising a reward signal while keeping a penalty signal below a specified threshold. Our contribution is two-fold. Firstly, we provide a detailed examination of existing MCTS-based algorithms, CC-POMCP and RAMCP, and reveal and demonstrate conceptual issues in their design. Secondly, we introduce Pareto UCT, a novel algorithm specifically crafted to address and overcome the identified challenges. The algorithm is based on an approximation of the Pareto curves that describe the optimal value-penalty trade-offs. Crucially, the final chapter of the thesis includes a comprehensive empirical evaluation and comparison of the three algorithms.

Keywords

reinforcement learning, risk constraints, UCB, UCT, RAMCP, Pareto curves, Lagrangian dual, CC-POMCP, CMDP

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 15. 12. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 14. 2. 2024
• Vedoucí: doc. RNDr. Petr Novotný, Ph.D.
• Oponent: doc. RNDr. Tomáš Brázdil, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Teoretická informatika / Diskrétní algoritmy a modely