Monte Carlo Tree Search in Deep Reinforcement Learning Algorithms

Bc. Richard Schwarz

Bakalářská práce

Anotace:

Táto práca skúma integráciu Monte Carlo stromového vyhľadávania (MCTS) do algoritmov hlbokého posilňovacieho učenia. Po prvé, predstavujeme MCTS ako samostatnú politiku pre Markovské rozhodovacie procesy (MDP). Po druhé, kombinujeme ho s prístupmi založenými na modelovom posilňovacom učení, pričom využívame MCTS ako plánovací nástroj. Začíname s AlphaZero, ktorý operuje pod silnými predpokladmi o znalostiach používaného MDP. Následne postupujeme k MuZero, ktorý tieto predpoklady uvoľňuje tým, že sa učí dynamiku prostredia z interakcií. Predstavujeme rôzne vylepšenia MuZero, najmä Stochastic MuZero, ktorý efektívne rieši vnútornú stochastickosť v prostredí. Našim príspevkom je rozsiahly prehľad každého algoritmu a podrobný popis použitých techník a potenciálnych problémov.

Abstract:

This thesis explores the integration of Monte Carlo tree search (MCTS) into deep reinforcement learning algorithms. Firstly, we introduce MCTS as a standalone policy for Markov decision processes (MDP). Secondly, we combine it with model-based reinforcement learning approaches by utilizing MCTS as a planning tool. We start with AlphaZero, which operates under strong assumptions about the knowledge of the underlying MDP. Then, we progress to MuZero, which relaxes these assumptions by learning environmental dynamics from interactions. We introduce various improvements to MuZero, most notably Stochastic MuZero, which effectively handles inherent stochasticity in the environment. Our contribution is an extensive overview of each algorithm, detailing the techniques used and potential problems in a unified way.

Keywords

Monte Carlo tree search, deep reinforcement learning, model-based reinforcement learning, UCB, AlphaZero, MuZero, Stochastic MuZero, neural network

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2024
• Vedoucí: doc. RNDr. Petr Novotný, Ph.D.
• Oponent: Mgr. Martin Kurečka

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika