Unified View on Multiple Mean-Payoff Objectives in Markov Decision Processes

Bc. et Bc. Zuzana Komárková

Master's thesis

Abstract:

Tato práce se zabývá Markovovými rozhodovacími procesy (MDPs) s několika průměrnými odměnami. Existují dva různé pohledy na tuto problematiku: (i) sémantika očekávané hodnoty, kde je naším cílem optimalizovat střední hodnotu průměrné odměny, a (ii) sémantika splnění hodnoty, kde je naším cílem maximalizovat pravděpodobnost běhů, pro které platí, že průměrná odměna je větší než zadaný vektor. Uvažujeme optimalizační problém vzhledem k oběma pohledům, a tím sjednocujeme již známé sémantiky. Naším cílem je optimalizovat očekávanou hodnotu a zároveň zajistit vyžadované splění hodnoty. Přínosy této práce jsou následující. Za prvé podáváme přehled dosavadního výzkumu v této oblasti. Za druhé představujeme řešení problému představeného výše. Poskytujeme algoritmy pro odpovídající rozhodovací problémy stejně jako pro aproximaci Pareto křivky, tyto algoritmy jsou polynomiální vzhledem k velikosti MDP. Podáváme také ucelenou charakterizaci složitosti strategií (z hlediska omezení na paměť a randomizaci) potřebnou k řešení našeho problému. Řešení uvedené v práci je založeno na spoluatorském článku Unifying Two Views on Multiple Mean-Payoff Objectives in Markov Decision Processes, který byl přijat na konferenci Logic in Computer Science (LICS), a vlastních výsledcích autorky.

Abstract:

This thesis investigates Markov decision processes (MDPs) with multiple long-run average (also called mean-payoff) objectives. There exist two different views on the topic: (i) the expectation semantics, where the goal is to optimize the expected mean-payoff value, and (ii) the satisfaction semantics, where the goal is to maximize the probability of runs such that the mean-payoff value stays above a given vector. We consider optimization problem with respect to both views at once, thus unifying the existing semantics. Our goal is to optimize the expectation while ensuring the satisfaction constraint. The contribution of the thesis is as follows. Firstly, the previous work is surveyed. Secondly, a solution to the problem above is presented. We present algorithms for the respective decision problems as well as for Pareto curve approximation, which are all polynomial in the size of the MDP. We also present a complete characterization of the strategy complexity (in terms of memory bounds and randomization) required to solve our problem. The solution is based on a co-authorial article Unifying Two Views on Multiple Mean-Payoff Objectives in Markov Decision Processes, to appear in the conference Logic in Computer Science (LICS), and author's own results.

Keywords

Markov decision processes, mean-payoff, long-run average, stochastic processes, linear programming, multi-objective optimization

Language used: English

Date on which the thesis was submitted / produced: 22. 5. 2015

Thesis defence

• Date of defence: 25. 6. 2015
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: RNDr. Vojtěch Forejt, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Parallel and Distributed Systems