Basic Model Checking Problems for Stochastic Games

RNDr. Václav Brožek, Ph.D.

Doctoral thesis

Anotácia:

Tato práce se zabývá stochastickými tahovými hrami na nekonečných grafech s lineárními výherními podmínkami. Stochastické hry jsou zásadním modelem pro systémy se třemi režimy chování: s náhodnými změnami stavu, nedeterministickými změnami ovládanými operátorem a nedeterministickými změnami způsobenými prostředím. Nedeterministické chování je modelováno pomocí dvou hráčů. Vynecháním jednoho z hráčů dostaneme z těchto her Markovovy rozhodovací procesy, další zásadní model v teoriích pravděpodobnosti a formální verifikace. Pro vygenerování herního grafu se pro hry studované v této práci používají různé podtřídy zásobníkových automatů (PDA), zejména bezstavové PDA (BPA), jednočítačové automaty a celá třída PDA. Zásobníkové automaty odpovídají systémům s rekurzivně se volajícími procedurami, které mají k dispozici lokální i globální proměnné. BPA pak odpovídají takovým z~těchto systémů, kde se nevyskytují globální proměnné. Jednočítačové automaty jsou konečné automaty s jedním neomezeným čítačem. Jsou schopny modelovat například frontu s jedním typem úloh, která může pracovat ve více režimech (quasi-birth-death procesy, QBD). Ústřední výherní podmínka studovaná v této práci je dosažitelnost. Ta je zadána množinou cílových vrcholů a pravděpodobnostním limitem. Jeden z~hráčů se zde snaží maximalizovat pravděpodobnost dosažení cíle, druhý se ji snaží minimalizovat. První hráč vyhraje, má-li strategii, která zajistí pravděpodobnost (ostře či neostře) větší než daný limit, bez ohledu na strategii druhého hráče. Duálně je definovaná výhra druhého hráče. Poznamenejme, že z pohledu logiky nejde o negaci podmínky pro výhru prvního hráče. Algoritmické problémy spojené s dosažitelností, které zde uvažujeme, zahrnují rozhodování vítěze pro daný vrchol hry, počítání reprezentace množiny všech výherních vrcholů daného hráče, popis výherní strategie, a dále zjišťování hodnoty hry v daném vrcholu. Studium problému začínáme na obecné rovině stochastických her na nekonečných grafech s konečným větvením. Představujeme několik zásadních výsledků, včetně (silné) determinovanosti v tom smyslu, že v každém vrcholu vyhrává právě jeden hráč. Věnujeme se i vztahu mezi obecnými a bezpaměťovými deterministickými strategiemi, a existenci optimální strategie. Posléze se zúžíme na případ her generovaných PDA. Uvedeme některé známé výsledky o nerozhodnutelnosti výše zmíněných problémů pro tuto třídu a také rozebereme, jaká omezení této třídy způsobí rozhodnutelnost. Rovněž ukážeme, že regularita množin výherních vrcholů úzce souvisí s rozdílem mezi obecnou a kvalitativní výherní podmínkou. V kvalitativní podmínce může být pravděpodobnostní limit pouze 0 nebo 1, v obecné to může být libovolné racionální číslo. Dále uvádíme rozsáhlou diskuzi výše zmíněných problému spolu s netriviálními řešeními pro třídy BPA her a her nad jednočítačovými automaty. Závěrem se věnujeme Büchiho výherní podmínce. Liší se od dosažitelnosti v~tom, že požaduje nekonečně mnoho návštěv cíle namísto aspoň jedné návštěvy požadované při dosažitelnosti. Uvádíme zde několik základních výsledků pro tuto podmínku v kontextu BPA her.

Abstract:

This thesis concerns stochastic turn based games over infinite graphs with linear objectives. Stochastic games are a fundamental model for systems where three modes of behaviour appear: random changes of the state, nondeterministic changes driven by some controller and nondeterministic changes made by en environment. The nondeterminism is modelled by two players. By eliminating one of the players we get a Markov decision process, another fundamental model in probability theory and formal verification. As a game graph generator for the games studied here various subclasses of pushdown automata (PDA) are considered, in particular the class of stateless PDA (BPA), the class of one-counter automata and the whole class of PDA. Pushdown automata correspond to systems with procedures with recursive calls, which use both global and local variables. BPA, where the number of control states is eliminated to 1 model such systems without global variables. One counter automata are finite automata with one unbounded counter, capable of modelling e.g. a queue with processes of a single type which can work in various modes (quasi-birth-death processes, QBD). The central objective studied in this thesis is the reachability objective. Such an objective is specified by a set of target vertices and a probability threshold. In this setting, one of the players tries to maximise the probability of reaching the target of vertices, whereas the other player tries to minimise it. The maximiser wins if he has a strategy to ensure the probability being (strictly or non-strictly) above the threshold, no matter what the other player does. The winning condition for the minimiser is defined dually. We note that from the logical point of view, the winning conditions are not negations of each other. The problems associated with reachability which are considered here involve determining a winner of the reachability game for a given vertex of the game, computing the representation of all vertices where a given player wins, synthesising the winning strategy, or determining the value of the vertex. The study of the problem begins at the general level of infinite state stochastic games with finite branching. Several fundamental results are presented, including (strong) determinacy in the sense that in every configuration one of the players always can win. The relationship between general and positional (memoryless deterministic) strategies is also studied, as well as the existence of optimal strategies. After that we turn our attention to PDA games. We present some known undecidability results for this general class and discuss also restrictions which render several problems decidable. We also show that regularity of winning regions is tightly connected to the distinction between general and qualitative objectives, i.e. objectives where the threshold may be an arbitrary rational number, or the number 0 or 1, respectively. A complex discussion of the above problems with nontrivial solutions are presented for the mentioned problems in the classes of BPA games and one-counter automata. Finally, the Büchi objective is discussed. It differs from the reachability in the requirement that the target set should be visited infinitely many times instead of at least one visit required in reachability. We present some basic results for this objective in the context of BPA games.

Keywords

stochastic games, PDA, BPA, reachability, Büchi objective, determinacy, automata, model checking

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 23. 6. 2009

Obhajoba závěrečné práce

• Obhajoba proběhla 4. 8. 2009
• Vedúci: prof. RNDr. Antonín Kučera, Ph.D.
• Oponent: prof. RNDr. Petr Jančar, CSc., dr. Kousha Etessami

Masaryk University

Faculty of Informatics

Doctoral programme / odbor:
Informatics (4-years) / Informatics