Extending the Synthesis Algorithm for Consumption MDPs with LTL Objectives

Bc. Dávid Meluš

Bachelor's thesis

Anotácia:

Záverečná práca rozširuje algoritmus pre syntézu stratégií v Markovových rozhodovacích procesoch s obmedzenými zdrojmi (CMDPs) s ponechaním polynomiálnej časovej zložitosti. Rozširujeme existujúci algoritmus o všeobecné CMDPs a všeobecnejšie omega-regulárne kritériá. Za týmto účelom sa definuje niekoľko problémov pre CMDPs, kde každý problém je potrebný na vyriešenie nadchádzajúceho. Ďalej ukazujeme, že kombinácia problémov bezpečnosti, dosažiteľnosti a očakávaného času, je výpočtovo ťažký problém (NP-hard).

Abstract:

This thesis is focused on extending the strategy synthesis algorithm for consumption Markov decision processes (CMDPs) while preserving polynomial time complexity. We extend the existing algorithm to general CMDPs and more general omega-regular objectives. To achieve this, we define several problems for CMDPs, each of which is required to solve the following one.Furthermore, we provide a lower complexity bound for a combination of safety, almost-sure reachability, and expected reachability time by proving that this problem is computationally hard.

Keywords

Markov decision process, consumption MDP, decreasing CMDP, reload state, safety objective, positive reachability, Büchi, Parity, Rabin objective, memoryless strategy, finite memory strategy, polynomial time, strategy synthesis

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 25. 5. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 7. 2021
• Vedúci: RNDr. Petr Novotný, Ph.D.
• Oponent: RNDr. David Klaška

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Applied Informatics / Bioinformatics