Synthesis of Minimal Schedulers for Markov Decision Processes

Mgr. Miroslav Klimoš

Bachelor's thesis

Abstract:

Markovské rozhodovací procesy jsou matematický aparát pro modelování rozhodování v systémech s náhodným chováním, v nichž řídící jednotka, také označovaná jako plánovač, ovlivňuje chování systému skrze svá rozhodnutí. Markovské rozhodovací procesy se spojitým časem zavádí do systému časové zpoždění při přechodech. Při zkoumání časově omezené dosažitelnosti hledáme plánovač, který maximalizuje pravděpodobnost dosažení dané množiny cílových stavů v daném časovém limitu. Existují různé metody pro výpočet optimálního a ε-optimálního plánovače, žádná z nich však nebere v potaz velikost jeho reprezentace. Ve skutečnosti jsou vzniklé plánovače velmi komplikované a jejich možné použití, například ve vestavěných systémech, je diskutabilní. Proto se tato práce zaměřuje na velikost plánovačů a zkoumá problém, jak zkonstruovat minimální optimální (ε-optimální) plánovač pro časově omezenou dosažitelnost. V práci navrhujeme algoritmus pro konstrukci minimálního ε-optimálního plánovače pro systémy s diskrétním časem. Pro systémy se spojitým čase upravíme techniku diskretizace, pomocí které redukujeme problém na diskrétní systém.

Abstract:

Markov decision processes provide us with a mathematical framework for modeling decision-making in randomized systems, where a scheduler controls the behavior of the system through the decisions. Continuous-time Markov decision processes introduce exponentially distributed time delays on the transitions to the model. Time-bounded reachability objective asks for a scheduler maximizing the probability of reaching a set of goal states in a given time limit. Methods for computing optimal and ε-optimal schedulers are available but they do not take into consideration the size of representation of such schedulers. Indeed, the resulting schedulers can be very large and their potential usage in embedded systems, for example, is questionable. Hence, the thesis focuses on the size of schedulers and examines the problem of finding a minimal optimal (ε-optimal) scheduler with respect to the time-bounded reachability. We propose an algorithm computing a minimal ε-optimal scheduler for a given discrete-time system. For continuous-time processes, we adopt the discretization technique to reduce the problem to the discrete-time case.

Keywords

stochastic processes, Markov decision processes, continuous-time Markov decision processes, time-bounded reachability, optimal scheduler, minimal scheduler

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2012

Thesis defence

• Date of defence: 21. 6. 2012
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: RNDr. Vojtěch Forejt, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Mathematical Informatics