Algorithms for Mean-Payoff and Energy Games

RNDr. Jakub Chaloupka, Ph.D.

Doctoral thesis

Abstract:

Mean-payoff game (MPG) je hra dvou hráčů hraná na konečném ohodnoceném orientovaném grafu. Tito dva hráči, Max a Min, do nekonečna pohybují žetonem po hránách grafu. Maxův cíl je maximalizovat průměrnou hodnotu projitých hran, zatímco Min ji chce minimalizovat. Energy game (EG) je také hrána na konečném ohodnoceném orientovaném grafu, ale hra je obohacena neohraničeným čítačem. Čítač má nějakou danou nezápornou počáteční hodnotu a hodnota každé projité hrany je k němu přičítána. Maxův cíl je udržet čítač nezáporný, zatímco Min chce aby šel pod nulu. EGs můžou být zobecněny pro k čítačů, kde k je libovolné přirozené číslo. Ohodnocení hran jsou k-tice celých čísel a každá komponenta každé projité hrany je přičtena k příslušnému čítači. Max chce všechny čítače udržet nezáporné, zatímco Min chce alespoň jeden poslat pod nulu. Mean-payoff a energy games jsou silným nástrojem s mnoha aplikacemi, zejména v syntéze, analýze a verifikaci počítačových systémů. Například, EG může být použita pro modelování robota v nepřátelském prostředí. Hodnoty hran v této EG reprezentují získanou/spotřebovanou energii -- v závislosti na znaménku, a hodnota čítače reprezentuje úroveň energie robota. Pokud má Max výherní strategii v této EG, potom je robot schopen v nepřátelském prostředí přežít ve smyslu, že jeho energie nikdy neklesne pod nulu. Systémy které potřebujeme analyzovat jsou často velmi složité, a tudíž musíme být schopni řešit velmi velké hry. Toto je možné pouze v případě, že máme k dispozici efektivní algoritmy. V této práci zhodnotíme existující algoritmické techniky pro řešení mean-payoff a energy games a také navrhneme nové techniky, které rozšiřují aplikovatelnost těchto her. Pokud jde o mean-payoff games, všechny dříve navržené algoritmy pro MPGs jsou sekvenční, a tudíž limitované výkonem jednoprocesorového počítače. V této práci navrhneme několik paralelních algoritmů založených na sekvenčních, a tak rozšíříme aplikovatelnost algoritmů pro MPGs na větší hry. Pokud jde o energy games, zlepšíme horní složitostní odhad pro řešení EGs a také navrhneme nový algoritmus pro EGs založený na technice zlepšování strategie. Složitost tohoto nového algoritmu není stejná jako náš zlepšený složitostní odhad, ale algoritmus je velmi rychlý v praxi, což také rozšiřuje aplikovatelnost EGs. Nakonec zlepšíme horní složitostní odhad pro řešení zobecněných EGs se dvěma čítači z EXPTIME na P, což otevírá cestu pro efektivní algoritmy pro tyto zobecněné EGs. Všechny algoritmy navržené v této práci jsou zhodnocené v experimentální studii. Tato práce také prezentuje výsledky našeho výzkumu paralelních algoritmů pro rozklad grafů na jejich silně souvislé komponenty (SCCs). Jednou motivací pro tento výzkum byl fakt, že rozklad na SCCs může být použit jako předzpracování při řešení MPGs za účelem zrychlení výpočtu. Ačkoliv použití paralelismu pro toto předzpracování se ukázalo zbytečné, rozklad na SCCs má velkou škálu dalších aplikací, a tak jsme se rozhodli v této větvi výzkumu pokračovat. Konkrétně jsme navrhli nový paralelní algoritmus pro rozklad grafů na jejich SCCs určený pro prostředí s distribuovanou pamětí. Tento algoritmus jsme potom zhodnotili v rozsáhlé srovnávací studii s ostatními známými paralelními algoritmy.

Abstract:

A mean-payoff game (MPG) is a two-player infinite game played on a finite weighted directed graph. The two players, named Max and Min, move a token along the edges of the graph ad infinitum. Max's aim is to maximize the average weight of the traversed edges, while Min wants to minimize it. An energy game (EG) is also played on a finite weighted directed graph, but the game is enhanced with an unbounded counter. The counter has some given non-negative initial value and the weight of each traversed edge is added to the counter. Max's aim is to keep the counter non-negative, while Min wants to make it go below zero. EGs can be generalized to k counters, where k is an arbitrary natural number. The weights of the edges are k-tuples of integers and each component of the weight of each traversed edge is added to the respective counter. Max wants to keep all counters non-negative, while Min wants to make at least one go negative. Mean-payoff and energy games are a powerful tool with many applications, especially in the synthesis, analysis, and verification of computer systems. For example, an EG can be used to model a robot in a hostile environment. The weights of the edges in the EG represent gained/consumed energy -- depending on the sign, and the counter value represents the current energy level of the robot. If Max has a winning strategy in the EG, then the robot is able to survive in the hostile environment in the sense that its energy level never goes below zero. The systems that need to be analyzed are often very complex, and so we have to be able to solve very large games. This is possible only if we have efficient algorithms at our disposal. In this thesis, we evaluate existing algorithmic techniques for solving mean-payoff and energy games, and we also propose new techniques that extend the applicability of the games. As for the mean-payoff games, all previously designed algorithms for MPGs are sequential, hence limited by the power of a single one-processor computer. In this thesis, we propose several parallel algorithms based on the sequential ones. Therefore, we extend the applicability of the algorithms for MPGs to bigger games. As for the energy games, we improve the upper time complexity bound for solving EGs, and we also design a novel algorithm for EGs based on the strategy improvement technique. The complexity of the new algorithm is not the same as the improved complexity bound, but it is very fast in practice, which also extends the applicability of EGs. Finally, we improve the upper complexity bound for generalized EGs with two counters from EXPTIME to P, which opens a way for efficient algorithms for the generalized EGs. All algorithms designed in this thesis are evaluated in an experimental study. The thesis also presents the results of our research on parallel algorithms for decomposition of graphs into their strongly connected components (SCCs). One motivation for this research was the fact that SCC decomposition can be used as a pre-processing step in MPG-solving in order to speed up the computation. Although the use parallelism for the pre-processing turned out to be redundant, SCC decomposition has a very wide range of other applications, and so we decided to continue this branch of our research. More specifically, we designed a novel parallel distributed-memory algorithm for SCC decomposition and evaluated it thoroughly in a comparative study with other known parallel algorithms.

Keywords

hry na grafech, games on graphs, mean-payoff games, energy games, grafové algoritmy, graph algorithms, paralelní algoritmy, parallel algorithms, rozvrhování zdrojů, resource scheduling

Language used: English

Date on which the thesis was submitted / produced: 28. 2. 2011

Thesis defence

• Date of defence: 17. 6. 2011
• Supervisor: prof. RNDr. Luboš Brim, CSc.
• Reader: prof. RNDr. Petr Jančar, CSc., Prof. Jean-Francois Raskin

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics