Controller Synthesis for Resource-Aware Systems

RNDr. Petr Novotný

Doctoral thesis

Abstract:

V práci se zabýváme problémem automatické syntézy kontroleru pro reaktivní systémy, které ke své činnosti využívají jeden či více zdrojů, například palivo, finanční prostředky, čas, apod. Naším obecným cílem je nalézt efektivní algoritmy, jež pro zadaný model systému vypočítají popis nějakého jeho kontroleru využívajícího příslušné zdroje efektivním způsobem. Zaměřujeme se na teoretické jádro tohoto problému. To spočívá ve výpočtu optimálních strategií v jistých Markovových rozhodovacích procesech a tahových hrách dvou hráčů. Práce rozšiřuje dosavadní literaturu z této oblasti o studium tří nových typů modelů, z nichž každý je vhodný pro analýzu jiného typu reálných systémů. Nejprve se zabýváme studiem Markovových rozhodovacích procesů s jedním neomezeným čítačem. Ty mohou sloužit jako modely systémů, které zpracovávají příchozí požadavky průběžně ukládané v nějaké frontě. Naším cílem je vypočítat pro takový systém kontroler, který co nejrychleji zpracuje příchozí požadavky a vyprázdní tak příslušnou frontu (zdroji, o jejichž efektivní využití se v tomto případě jedná, jsou tedy paměť a čas). Druhým typem modelu, kterému se v práci věnujeme, jsou Markovovy rozhodovací procesy s úroky, jenž slouží jako model pro rozhodování investora na finančních trzích. Zde je naším cílem vypočítat v rámci daného modelu investiční strategii minimalizující riziko bankrotu. V poslední části práce zavádíme formalismus takzvaných konzumních her. Ten je úzce spjat s dobře známým formalismem vícedimenzionálních energetických her a slouží především k modelování systémů, v nichž je možné modelovat proces doplňování zdrojů jako atomickou operaci. V kontextu konzumních her je naším úkolem vypočítat kontroler, který zajistí, že žádný ze zdrojů nebude v průběhu provozu systému vyčerpán. Typickou překážkou, se kterou se musíme při návrhu algoritmů pro uvedené problémy vypořádat, je nekonečný počet konfigurací, ve nichž se příslušný systém může nacházet. Není tedy a priori zřejmé, zda jsou tyto problémy vůbec algoritmicky řešitelné. Pro každý z uvedených třech modelů v práci navrhneme co možná nejefektivnější algoritmus počítající strategie potřebné k syntéze příslušného kontroleru. Nejenže tedy ukážeme, že výše zmíněné problémy jsou algoritmicky řešitelné, ale provedeme rovněž důkladnou analýzu složitosti, jejímž výsledkem je fakt, že asymptotickou složitost většiny našich algoritmů nelze za standardních předpokladů významně zlepšit. Některé ze studovaných problémů jsou zcela nové, a naše výsledky jsou tedy prvními svého druhu. U jiných problémů lze nalézt významnou souvislost s výpočetními problémy, které se v teorii syntézy již studovaly. V takovém případě se ukazuje, že přístupy uvedené v naší práci vedou k teoreticky efektivnějšímu řešení. Abychom mohli všechny naše výsledky prezentovat v ucelené podobě, zavádíme nový formalismus takzvaných her o zdroje, pomocí nichž lze modelovat jak všechny tři výše uvedené typy systémů, tak mnoho dalších systémů pracujících se zdroji.

Abstract:

In this thesis we study the problem of automated controller synthesis for resource-dependent reactive systems, i.e. systems that need one or more resources (such as fuel, money, time, etc.) to operate correctly. Our general goal is to devise algorithms that compute, for a given model of a resource-dependent system, a description of a controller which handles the system's resources in an efficient way. We tackle the theoretical core of this problem, which consists of computing optimal strategies in certain classes of Markov decision processes and 2-player turn-based graph games. We enrich the known results from the literature with our study of three types of models, each of which is apt for modelling of different real-world resource-dependent systems. First we study expected termination time in \emph{one-counter Markov decision processes} (OC-MDPs). The formalism of OC-MDPs is particularly suitable for the modelling of queueing systems, i.e. systems that process incoming tasks stored in some potentially unbounded queue. Our task is to compute a controller which processes the incoming tasks, and thus empties the queue, as quickly as possible (hence, the resources whose efficient utilisation is sought here are time and memory). Next, we study the formalism of \emph{Markov decision processes with interest}, which was conceived as an abstract decision-making model of an investor in a financial market. Our goal here is to synthesize, for a given market model, a strategy minimizing the probability of unbounded losses of credit. Finally, we introduce so called \emph{consumption games}, a formalism closely related to well-studied energy games. Consumption games are apt for modelling of resource-dependent systems in which the process of resource replenishment can be modelled as an atomic action. In the context of consumption games, our task is to compute a controller that avoids the exhaustion of the system's resources. A typical issue that has to be resolved in order to design algorithms for the above problems is that the modelled systems may have infinitely many configurations. It is thus not a priori clear whether the problems are algorithmically solvable. In the thesis we design, for each of the three aforementioned formalisms, an algorithm computing the corresponding strategies. We strive to achieve the best possible theoretical complexity. Thus, we not only show that all the above problems \emph{are} effectively solvable, but we also perform a detailed complexity analysis, showing that in most cases, the complexity of our algorithms cannot be substantially improved under standard complexity-theoretical assumptions. Some of the studied problems are entirely novel, so our results on them are first of their kind. Other problems are closely related to questions that were already studied, in which case the approach presented in the thesis leads to a theoretically more efficient solution. In order to present our results in a coherent form, we introduce a generic formalism of \emph{resource games}, in which we can express not only the three aforementioned types of systems, but also many other instances of resource-dependent systems.

Keywords

controller synthesis, Markov decision processes, graph games, energy games, solvency games, one-counter processes, quantitative analysis, syntéza kontroleru, Markovovy rozhodovací procesy, grafové hry, systémy s čítači, hry o zdroje

Language used: English

Date on which the thesis was submitted / produced: 29. 1. 2015

Thesis defence

• Date of defence: 7. 5. 2015
• Supervisor: prof. RNDr. Antonín Kučera, Ph.D.
• Reader: doc. Mgr. Michal Koucký, Ph.D., Prof. Jean-Francois Raskin, Prof. Rajeev Alur

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics