Markovovy rozhodovací procesy s neúplnou informací a omezenými zdroji

Bc. Michal Ajdarów

Diplomová práce

Partially Observable Markov Decision Processes with Consumption Objectives

Anotace:

Energeticky observovatelné Consumption partially Observable Markov Decision Processy jsou stochastické procesyve kterých musí řídící jednotka zajistit dostatek ubývajících zdrojů které lze doplnit v jistých stavech systému, zatímco má pouze částečnou informaci o systému, ale úplnou informaci o zdrojích, a jejím cílem je zajistit splněnost daného cíle, zatímco zdroje zůstanou pozitivní. Cíle kterými se zabýváme v této práci jsou téměř jisté plnění pro consumption-safety, consumption-Buchi a consumption-reachability cíle, a ukážeme že tyto cíle lze splnit v EXPTIME.

Abstract:

An energy-observable Consumption partially Observable Markov Decision Processes are stochastic systems in which the controller needs to keep track of a diminishing resource that can be reloaded in certain states, while having only partial information about the system, but full information about the resources, and the goal of the controller is to make sure that a given objective is satisfied, while the amount of the resource available stays non-negative. The objectives we study in this work are almost-sure satisfaction for consumption-safety, consumption-Buchi and consumption-reachability objectives, and we show that these problems can be solved in EXPTIME.

Keywords

Reachability, Safety, Buchi, consumption models, partial observability, qualitative analysis, Markov decision processess, POMDP, energy observable

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 3. 2. 2020
• Vedoucí: RNDr. Petr Novotný, Ph.D.
• Oponent: Mgr. David Klaška

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Teoretická informatika