Monte Carlo Tree Search in Verification of Markov Decision Processes

Bc. Ondřej Slámečka

Master's thesis

Abstract:

Zkoumáme jak lze použít algoritmy typu Monte Carlo Tree Search na problém verifikace Markovovských rozhodovacích procesů (s úplnou informací) díky jejich vyvažování mezi úplným a heuristickým prohledáváním. Navrhujeme několik nových algoritmů založených na UCT (nejúspěšnější MCTS algoritmus) a experimentálně je vyhodnocujeme na standardních modelech. Výsledky ukazují, že existují standardní modely, kde naše algoritmy překonají dosud známé metody. Navíc ukážeme, že navržené algoritmy mají dobré výsledky na modelech, kde BRTDP podceňuje některé cesty k cíli.

Abstract:

We explore how Monte Carlo tree search type algorithms can be used for verification of Markov decision processes (with complete information) due to their balance between exhaustive and heuristic search. Several new algorithms either based on UCT (the most successful MCTS algorithm) are proposed and experimentally evaluated on standard models. Our results show there are standard models where they outperform previously known methods. Moreover, we show the suggested algorithms perform very well on models where BRTDP underestimates certain paths to goals.

Keywords

Monte Carlo Tree Search, Markov Decision Process, Verification, Reachability, Learning Algorithm

Language used: English

Date on which the thesis was submitted / produced: 13. 12. 2017

Thesis defence

• Date of defence: 5. 2. 2018
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: RNDr. Vojtěch Řehák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Theoretical Informatics