Efficient Synthesis of Finite-Memory Strategies in Patrolling Games

Mgr. David Klaška

Advanced ('rigorózní') thesis

Abstract:

Patrolovací hry jsou hry dvou hráčů, obránce a útočníka, na orientovaných grafech. Obránce se pohybuje po hranách grafu, čímž hlídá navštívené vrcholy. V některém okamžiku se útočník rozhodne zaútočit na některý z vrcholů a úkolem obránce (jenž neví, který vrchol byl napaden či zda vůbec útok již začal) je navštívit napadený vrchol dříve, než bude útok dokončen. Cílem je spočítat (randomizovanou) strategii obránce, která dosahuje co nejvyššího pokrytí. Uvažujeme model patrolovacích her s nekonečným horizontem na libovolných topologiích, kde útočník vidí obránce. Navrhujeme algoritmus, který počítá obecné konečněpaměťové strategie obránce. Předchozí práce se buď zabývaly využitím pouze markovovských strategií či markovovských strategií vyšších řádů (jež však obecně nejsou dostatečně silné pro optimální pokrytí), nebo sice uvažovaly obecnější strategie, např. regulární strategie, nicméně automatová část strategie musela být zkonstruována manuálně. Náš algoritmus pro výpočet strategií je založen na metodě gradientního sestupu a i konstrukce automatové části je plně automatická. Navíc přinášíme algoritmus na výpočet horního odhadu na nejlepší možné pokrytí. Díky tomu je možné rigorózně měřit kvalitu získaných strategií. Provedené experimenty dokládají, že náš algoritmus je aplikovatelný na instance reálných velikostí a že kvalita vypočtených strategií je často velmi blízko optimu.

Abstract:

A patrolling game is a game played on a directed graph by two players, called the Defender and the Attacker. The Defender moves along the edges of the graph, thereby guarding the visited vertices. At some moment, the Attacker decides to initiate an attack at a vertex of his choice, and the goal of the Defender (who does not know where or whether at all an attack has been initiated) is to visit the attacked vertex in time before the attack is completed. The problem is to compute a (randomized) strategy for the Defender which achieves the best protection. We consider infinite-horizon patrolling games on arbitrary topologies where the Attacker is able to see the Defender. We develop a new algorithm for computing general finite-memory strategies. Previous works on this model either focused mainly on using merely Markovian or high-order Markovian strategies (which are, in general, not strong enough to achieve optimal protection), or considered more general strategies, e.g. regular strategies, but the automaton part of the strategy had to be supplied manually. Our strategy-synthesis algorithm is based on the method of gradient descent and the construction of the automaton part is fully automatic. Moreover, we propose an algorithm for computing an upper bound on the best achievable protection. Thanks to this, we can rigorously measure the quality of the produced strategies. Our experiments show that the algorithm is applicable to instances of realistic size and that the produced strategies are often very close to being optimal.

Keywords

patrolling games, adversarial patrolling games, regular strategies, finite-memory strategies, gradient descent, upper bound

Language used: English

Date on which the thesis was submitted / produced: 5. 10. 2020

Thesis defence

• Date of defence: 29. 1. 2021
• Reader: doc. Mgr. Branislav Bošanský, Ph.D., Assoc. Prof. Nicola Basilico, PhD

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Theoretical computer science / Theoretical computer science