Risk-Aversion in Algorithms for Poker

Bc. Martin Horáček

Diplomová práce

Anotace:

V práci se zabýváme averzí k riziku v kontextu pokeru. Uvádíme přehled přístupů k hraní her s omezeným rizikem. Zdůvodňujeme, proč je použití rizika bankrotu (risk of ruin) vhodné pro poker. Ukazujeme, že St. Petersburg paradox je možné vysvětlit pomocí rizika bankrotu. Dále popisujeme, jak je možné použít minimalizaci rizika bankrotu místo maximalizace průměrné výhry pro hledání optimální strategie. Představujeme několik metod pro vyhodnocení rizika bankrotu. Ukazujeme, jak spočítat strategie soupeře, který chce maximalizovat naše riziko bankrotu (risk of ruin best response). Navrhujeme tři heuristické metody, které mají za cíl dosáhnout nižšího rizika bankrotu než Nashovo equilibrium. Metody ve svém výpočtu použivají algoritmus Counterfactual Regret Minimization (CFR). Práce je doplněna projektem v jazyce C++, který implementuje navržené metody a experimentálně je vyhodnocuje.

Abstract:

In this thesis, we study the risk-averse approach to poker. We review risk-averse concepts that can be used for playing games. We provide justifications for using the risk of ruin concept in the context of poker. We study the risk of ruin, and we use it to explain the classic St. Petersburg paradox. We then describe how to actively use the risk of ruin to guide changes in a player's strategy. We show how to evaluate the risk of ruin and how to compute the risk of ruin best response. We then propose three heuristic methods for achieving a lower risk of ruin than the Nash equilibrium. All three heuristics use the Counterfactual Regret Minimization algorithm. The thesis is supplemented by a C++ project that implements the presented methods.

Keywords

risk aversion, poker, game theory, CFR, risk of ruin, risk-averse, St. Petersburg paradox, expected utility, counterfactual regret minimization

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 17. 5. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2022
• Vedoucí: RNDr. Petr Novotný, Ph.D.
• Oponent: doc. RNDr. Tomáš Brázdil, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Strojové učení a umělá inteligence