Parameter Synthesis in Continuous-Time Stochastic Systems

Mgr. Ľuboš Korenčiak

Doctoral thesis

Abstract:

Markovove reťazce spojitého času (eng. continuous-time Markov chains, CTMC) sú atraktívny formalizmus na špecifikáciu a verifikáciu stochastických systémov, kde sa diskrétne udalosti odohrávajú v spojitom čase. Trieda CTMC je vhodná na testovanie výkonnosti týchto systémov pretože má Markovovu vlastnosť. Tá zjednodušuje analýzu, ale limituje modelovaciu silu, pretože implikuje, že všetky udalosti majú exponenciálne rozdelenie. Markovove reťazce spojitého času s budíkmi (eng. continuous-time Markov chains with alarms, ACTMC) umožňujú naviac modelovať budíkové udalosti. Tie môžu mať ľubovoľné rozdelenie času zvonenia za podmienky, že v každom momente je aktívny maximálne jeden budík. Uvažujeme parametrické ACTMC, kde (spojité) parametre budíkových rozdelení nie sú fixne dané a môžu byť syntetizované. Toto je veľmi užitočné napríklad na automatickú syntézu časových limitov v sieťových protokoloch. Predstavujeme dve množiny algoritmov na riešenie epsilon-optimálnej syntézy parametrov v parametrických ACTMC vzhľadom k optimalizácii celkových akumulovaných odmien (eng. total accumulated reward) alebo priemerných odmien (eng. long-run average). Všetky algoritmy vyžívajú redukciu na problém nájdenia optimálnych stratégií v čiastočne pozorovateľných Markovových rozhodovacích procesoch (POMDP) a dostatočnú diskretizáciu priestoru parametrov (ktorý korešponduje s priestorom akcií redukovaného POMDP). Algoritmy z prvej množiny explictne konštruujú priestor akcií a používajú známe algoritmy na riešenie POMDP. Keďže počet akcií diskretizovaného POMDP môže byť veľmi veľký, explicitné algoritmy majú vysoké nároky na čas a pamäť. Druhá množina prezentovaných algoritmov používa algoritmus policy iteration vylepšný tak, aby pracoval so symbolickou reprezentáciou priestoru akcií. Korektnosť symbolických algoritmov je ukázaná pre parametrické ACTMC s budíkovými rozdeleniami, ktoré splňujú mierne predpoklady. Konkrétne ukazujeme, že tieto predpoklady sú splnené pre uniformné, Dirakove, exponenciálne a Weibulove rozdelenia, a zároveň poskytujeme argumenty, že sú splnené aj pre mnoho iných rozdelení. Experimentálna implementácia preukazuje, že symbolický prístup výrazne zlepšuje efektivitu explicitných algoritmov a dovoľuje riešiť veľké inštancie nášho problému.

Abstract:

Continuous-time Markov chains (CTMCs) is an attractive formalism for specification of stochastic systems where discrete events occur in continuous time. The class of CTMCs is suitable for performance evaluation thanks to the Markov property, which simplifies the analysis but limits the modeling power as it requires exponential distribution for all events. Continuous-time Markov chains with alarms (ACTMCs) additionally allow for alarm events that have generally distributed delays, given that at most one alarm is active at any time. We consider parametric ACTMCs where the (continuous) parameters of alarm-delay distributions are not given explicitly and can be subjects of parameter synthesis. This is very useful in practice, e.g., to automatically synthesize timeouts in network protocols. We present two sets of algorithms solving the epsilon-optimal parameter synthesis problem for parametric ACTMCs with total accumulated reward or long-run average optimization objectives. All algorithms are based on reduction to the problem of finding optimal policies in partially observable Markov decision processes (POMDPs) and sufficient discretization of parameter space (that corresponds to the action space of the POMDP). The algorithms of the first set explicitly construct the action space and call the state-of-the-art POMDP solution algorithms. Since the set of actions in the discretized POMDP can be very large, the explicit algorithms have high time and space requirements to solve even simple instances of the problem. The second set of presented algorithms uses an enhanced policy iteration on a symbolic representation of the action space. The soundness of the symbolic algorithms is established for parametric ACTMCs with alarm-delay distributions satisfying mild assumptions, that are shown to hold for uniform, Dirac, exponential, and Weibull distributions in particular, but are satisfied for many other distributions as well. An experimental implementation shows that the symbolic approach substantially improves the efficiency of the explicit algorithms and allows to solve instances of a large size.

Keywords

parameter synthesis, continuous-time Markov chain with alarms, generalized semi-Markov process, stochastic Petri net, partially observable Markov decision process, mean payoff, total reward, policy iteration

Language used: English

Date on which the thesis was submitted / produced: 18. 12. 2017

Thesis defence

• Date of defence: 25. 4. 2018
• Supervisor: prof. RNDr. Antonín Kučera, Ph.D.
• Reader: Prof. Enrico Vicario, Assoc. Prof. Nathalie Bertrand

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics