Efficient Profile Synthesis for Multi-Agent Stochastic Shortest Path Problem

Bc. Michal Wagner

Diplomová práce

Anotace:

Problém víceagentní stochastické nejkratší cesty (MSSP) řeší, jak zvolit strategie pro k agentů pohybujících se ve sdíleném Markovově rozhodovacím procesu tak, aby se minimalizovala očekávaná doba do okamžiku, kdy první z agentů dosáhne určeného cílového stavu. Tato práce představuje komplexní empirické srovnání autonomních a koordinovaných řešičů problému MSSP. Navrhujeme čtyři škálovatelné benchmarkové domény: Barvičky, Hadi a žebříky, CityHighway a RingRoad, a vyhodnocujeme šest řešičů: LP-optimální referenční řešení, heuristiku nejkratší cesty, gradientový algoritmus AutoHit se třemi variantami inicializace a přesný koordinovaný řešič CoorHit. Společný experimentální protokol zahrnující srovnání kvality řešičů, analýzu teplého startu, citlivost na hyperparametry a škálování koordinace je uplatněn jednotně napříč všemi doménami, doplněn o doménově specifické experimenty zaměřené na vliv vychýlení kostky, diverzifikaci tras a optimalizaci umístění základen. Všechny experimenty jsou implementovány v znovupoužitelném nástrojovém řetězci PySSP.

Abstract:

The multi-agent stochastic shortest path (MSSP) problem asks how to choose strategies for k agents navigating a shared Markov decision process to minimise the expected time until the first agent reaches a designated target. This thesis presents a comprehensive empirical comparison of autonomous and coordinated solvers for the MSSP problem. We design four scalable benchmark domains: Barvicky, Snakes and Ladders, CityHighway, and RingRoad, and evaluate six solvers: an LP-optimal baseline, a shortest-path heuristic, the gradient-based AutoHit algorithm with three initialisation variants, and the exact coordinated solver CoorHit. A common experimental protocol comprising solver quality comparison, warm-start analysis, hyperparameter sensitivity, and coordination scaling is applied uniformly across all domains, complemented by domain-specific experiments on dice-bias effects, route diversification, and base-placement optimisation. All experiments are implemented in a reusable toolchain, PySSP.

Keywords

stochastická nejkratší cesta, stochastic shortest path, SSP, víceagentní stochastická nejkratší cesta, multi-agent stochastic shortest path, MSSP, víceagentní systémy, multi-agent systems, profil strategií, strategy profile, Markovův rozhodovací proces, Markov decision process, MDP, gradientní sestup, gradient descent, lineární programování, linear programming, očekávaná doba do dosažení cíle, expected hitting time, AutoHit, CoorHit

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 15. 6. 2026
• Vedoucí: prof. RNDr. Antonín Kučera, Ph.D.
• Oponent: RNDr. Martin Jonáš, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů