Efficient Verification of Multi-Objective Queries in Markov Decision Processes

Bc. Vít Unčovský

Bachelor's thesis

Abstract:

Markovovy Rozhodovací Procesy (MDP) se často používají jako model problémů a systémů, které vykazují probabilistické chování. Jelikož jsou výkon, bezpečnost a férovost těchto systemů často klíčové, hledáme způsoby jak tyto vlastnosti zajistit prostřednictvím verifikace jejich modelů. Tato práce se zabývá problémem aproximace Paretových křivek pro modely MDP rozšířené o další optimalizační kritéria. Hlavním přínosem práce je implementace algoritmu, který dokáže tento aproximační problém řešit s formálními garancemi na korektnost výsledků. Algoritmus je formulován a vyhodnocen na sadě experimentů převzatých z literatury.

Abstract:

Markov Decision Processes are frequently used to model problems and systems that exhibit probabilistic behavior. As the performance, safety, and fairness of many of these systems are crucial, we seek ways to ensure these properties through verification of their models. This thesis studies an extension of MDPs, called Multi-Objective Markov Decision Processes, wherein multiple possibly conflicting objectives have to be optimized. An algorithm that can approximate the Pareto curve for these models with formal guarantees is implemented. The tool is introduced, along with a survey of the relevant theory and algorithms. The algorithm is assessed on a set of benchmarks, and the results of the analysis and possible future improvements are discussed.

Keywords

Markov Decision Process, verification, Pareto Curve, heuristic planning, BRTDP

Language used: English

Date on which the thesis was submitted / produced: 19. 12. 2023

Thesis defence

• Date of defence: 15. 2. 2024
• Supervisor: doc. RNDr. Petr Novotný, Ph.D.
• Reader: doc. RNDr. Vojtěch Řehák, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics