Efficient Verification of Multi-Objective Queries in Markov Decision Processes

Bc. Vít Unčovský

Bakalářská práce

Anotace:

Markovovy Rozhodovací Procesy (MDP) se často používají jako model problémů a systémů, které vykazují probabilistické chování. Jelikož jsou výkon, bezpečnost a férovost těchto systemů často klíčové, hledáme způsoby jak tyto vlastnosti zajistit prostřednictvím verifikace jejich modelů. Tato práce se zabývá problémem aproximace Paretových křivek pro modely MDP rozšířené o další optimalizační kritéria. Hlavním přínosem práce je implementace algoritmu, který dokáže tento aproximační problém řešit s formálními garancemi na korektnost výsledků. Algoritmus je formulován a vyhodnocen na sadě experimentů převzatých z literatury.

Abstract:

Markov Decision Processes are frequently used to model problems and systems that exhibit probabilistic behavior. As the performance, safety, and fairness of many of these systems are crucial, we seek ways to ensure these properties through verification of their models. This thesis studies an extension of MDPs, called Multi-Objective Markov Decision Processes, wherein multiple possibly conflicting objectives have to be optimized. An algorithm that can approximate the Pareto curve for these models with formal guarantees is implemented. The tool is introduced, along with a survey of the relevant theory and algorithms. The algorithm is assessed on a set of benchmarks, and the results of the analysis and possible future improvements are discussed.

Keywords

Markov Decision Process, verification, Pareto Curve, heuristic planning, BRTDP

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 12. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 15. 2. 2024
• Vedoucí: doc. RNDr. Petr Novotný, Ph.D.
• Oponent: doc. RNDr. Vojtěch Řehák, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika