Synthesizing Resource-Shielded Policies for Partially Observable Markov Decision Processes

Bc. Šimon Brlej

Bachelor's thesis

Abstract:

Čiastočne pozorovateľné Markovove Rozhodovacie Procesy (POMDP) s obmedzenými zdrojmi umožňujú modelovanie prostredia, kde agent potrebuje sledovať zmenšujúci sa zdroj s neistými pozorovaniami jeho pozície v danom prostredí. Cieľom tejto práce bolo vytvoriť nástroj, v ktorom je implementovaný nový algoritmus pre optimalizáciu bezpečného dosahovania cieľov v cieľovo zameraných POMDP s obmedzenými zdrojmi. Daný algoritmus je kombináciou štítovania so simulačným prístupom Monte Carlo stromového prehľadávania. Štítovací algoritmus zabraňuje agentovi vyberať akcie, ktoré by viedli k vyčerpaniu zdroja. Tento nájstroj môže byť použitý na výpočet štítu a spracovanie POMDP s obmedzenými zdrojmi pomocou čiastočne pozorovateľného Monte Carlo plánovacieho (POMCP) algoritmu. Teoretická časť tejto práce obsahuje popis formalizmu POMDP s obmedzenými zdrojmi, ako aj vysvetlenie konceptu Monte Carlo stromového prehľadávania. Praktická časť popisuje dizajn vytvoreného nástroja a implementovanej funkcionality, ako aj detailný popis spôsobu, akým sú štítovací a POMCP algoritmy implementované. Vytvorený nástroj bol testovaný a ohodnotený na troch typoch experimentov.

Abstract:

Partially Observable Markov Decision Processes with resource constraints allow modeling of an environment where the agent needs to keep track of a diminishing resource under uncertain observations of its position in the environment. The goal of this thesis was to create a tool implementing a new algorithm for optimizing safe goal-reachability in goal-oriented resource-constrained POMDPs by combining a shielding algorithm with the Monte Carlo tree search simulation-based approach. The shielding algorithm prohibits the agent from taking actions that would lead to resource exhaustion. The created tool can be used to compute shields and to process a resource-constrained POMDP with its corresponding shield by a Partially Observable Monte Carlo Planning algorithm. The theoretical part of this thesis contains the description of the resource-constrained POMDP formalism, as well as the explanation of the Monte Carlo tree search approach. The practical part describes the design of the created tool and the features implemented inside the tool, as well as a detailed description of how the shielding and POMCP algorithms are implemented. The created tool was evaluated on three types of benchmarks.

Keywords

Python, Markov Decision Process, MDP, Partially Observable Markov Decision Process, POMDP, Monte Carlo Tree Search, MCTS, Partially Observable Monte Carlo Planning, POMCP, resource constraints, planning, partial observability, shielding

Language used: English

Date on which the thesis was submitted / produced: 19. 5. 2022

Thesis defence

• Date of defence: 30. 6. 2022
• Supervisor: RNDr. Petr Novotný, Ph.D.
• Reader: RNDr. Vít Musil, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing