Markovovy rozhodovací procesy s neúplnou informací a omezenými zdroji

Bc. Michal Ajdarów

Master's thesis

Partially Observable Markov Decision Processes with Consumption Objectives

Abstract:

Energeticky observovatelné Consumption partially Observable Markov Decision Processy jsou stochastické procesyve kterých musí řídící jednotka zajistit dostatek ubývajících zdrojů které lze doplnit v jistých stavech systému, zatímco má pouze částečnou informaci o systému, ale úplnou informaci o zdrojích, a jejím cílem je zajistit splněnost daného cíle, zatímco zdroje zůstanou pozitivní. Cíle kterými se zabýváme v této práci jsou téměř jisté plnění pro consumption-safety, consumption-Buchi a consumption-reachability cíle, a ukážeme že tyto cíle lze splnit v EXPTIME.

Abstract:

An energy-observable Consumption partially Observable Markov Decision Processes are stochastic systems in which the controller needs to keep track of a diminishing resource that can be reloaded in certain states, while having only partial information about the system, but full information about the resources, and the goal of the controller is to make sure that a given objective is satisfied, while the amount of the resource available stays non-negative. The objectives we study in this work are almost-sure satisfaction for consumption-safety, consumption-Buchi and consumption-reachability objectives, and we show that these problems can be solved in EXPTIME.

Keywords

Reachability, Safety, Buchi, consumption models, partial observability, qualitative analysis, Markov decision processess, POMDP, energy observable

Language used: English

Date on which the thesis was submitted / produced: 16. 12. 2019

Thesis defence

• Date of defence: 3. 2. 2020
• Supervisor: RNDr. Petr Novotný, Ph.D.
• Reader: Mgr. David Klaška

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Theoretical Informatics