Controller Synthesis for Markov Decision Processes with Branching - Time Objectives

RNDr. Vojtěch Forejt, Ph.D., LL.B. (Hons)

Doctoral thesis

Abstract:

Tato práce obsahuje výsledky z oblasti syntézy plánovačů pro konečněstavové Markovovy rozhodovací procesy a logiky větvícího se času. Markovovův rozhodovací proces je pravděpodobnostní systém často využívaný při modelování skutečných systémů, ve kterých se vyskytuje jak nedeterministické, tak pravděpodobnostní chování. Logiky větvícího se času umožňují vyjádřit požadované vlastnosti těchto systémů. Problém syntézy plánovačů je definován následovně: Je dán Markovův rozhodovací proces a formule logiky větvícího se času; existuje plánovač, který zajistí splnění formule? V této práci se zabýváme i problémem verifikace, který je definován duálně, t.j. cílem je zjistit, zda je formule splněna pro všechny plánovače. Omezením množství paměti anebo použití náhodnosti u plánovačů, případně použitím různých logik lze obdržet různé varianty problému. Hlavním cílem této disertace je poskytnout přehled o aktuálních výsledcích z oblasti. Uvážíme logiky PCTL, PCTL* a PECTL*. První dvě logiky jsou varianty nepravděpodobnostních a široce využívaných logik CTL a CTL*, třetí z logik využívá Büchiho automaty místo běžných temporálních operátorů. Ukážeme, že problém syntézy plánovačů je nerozhodnutelný i v případě, že formule, která má být splněna, je formule logiky PCTL, a plánovače nesmí využívat náhodnost a mají k disposici jen konečně mnoho paměti. Zároveň ale najdeme několik rozhodnutelných a prakticky motivovaných podproblémů. Klasifikujeme známé výsledky v oblasti bezpaměťových plánovačů pro PCTL formule a rozšíříme tyto výsledky i na ostatní logiky. Dále se zaměříme na kvalitativní fragmenty logik a ukážeme, že plánovače mohou vyžadovat "nekonečnou" pamět v podobě potenciálně neomezeného čítače. Ukážeme, že paměť poskytovaná konečným automatem rozšířeným o čítač je ve skutečnosti dostačující a že problém syntézy plánovačů je pro kvalitativní logiky rozhodnutelný.

Abstract:

This thesis studies controller synthesis and verification problems for finite state Markov decision processes and branching-time logics. Markov decision processes are probabilistic systems that arise naturally in modelling of real-life systems with both nondeterministic and stochastic behaviour, while branching-time logics are formalisms allowing one to reason about properties of systems. The controller synthesis problem asks, given a Markov decision process and a formula of branching-time logic, whether there is a controller that ensures satisfying the formula. The verification problem is defined dually, i.e. asks whether the formula is satisfied under all controllers. Various fragments of controller synthesis and verification problems may be obtained by restricting the use of memory and/or randomization in the controller, or by considering different logics and their fragments. Main goal of this thesis is to present current knowledge about these problems and to provide their classification. We consider logics PCTL, PCTL* and PECTL*, where the first two logics are probabilistic counterparts of the well-known logics CTL and CTL*, and PECTL* is a branching-time logic that uses Büchi automata instead of conventional temporal operators. We show that the controller synthesis problem is undecidable even when the formulae to be satisfied are PCTL formulae and we ask for a deterministic finite-memory controller only. On the other hand, we identify several subproblems that are decidable and of practical interest. The decidability results are twofold. We study memoryless controllers, where we extend known results from PCTL to the stronger logics. We also study qualitative fragments of logics, where we show that controllers may need to use possibly unbounded counter in order to be winning, and the set of probabilities they assign to a transition during a play may be infinite. This is possibly the most demanding part of this thesis, where we show that the memory provided by one-counter automaton is sufficient and give the decidability result for the problem. For many of the studied subproblems, we also provide matching lower complexity bounds.

Keywords

controller synthesis, Markov decision processes, branching time logics

Language used: English

Date on which the thesis was submitted / produced: 3. 11. 2009

Thesis defence

• Date of defence: 17. 12. 2009
• Supervisor: prof. RNDr. Antonín Kučera, Ph.D.
• Reader: prof. RNDr. Petr Jančar, CSc., Patricia Bouyer-Decitre

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics