Hluboké posilované učení s modelem prostředí a spojitými akcemi

Bc. Karol Kuna

Master's thesis

Model-Based Deep Reinforcement Learning with Continuous Actions

Anotácia:

Táto práca študuje využitie modelu prostredia v oblasti hlbokého učenia posilňovaním so spojitými akciami, kde tradičné metódy model prostredia nepoužívajú. Súčasťou práce je teoretický popis nového algoritmu, nazvaného „Deep Model Learning Actor-Critic“, ktorý porovnávame s existujúcou metódou „Deep Deterministic Policy Gradient“. Tieto metódy porovnávame z hľadiska schopnosti riešiť nové úlohy a z hľadiska prenosu naučených znalostí z jednej úlohy do druhej. Súčasťou práce je implementácia testovaných metód.

Abstract:

In this thesis, we study the application of an environment model to deep reinforcement learning with continuous actions, where contemporary methods are typically model-free. We give a theoretical description of a novel model-based actor-critic deep reinforcement learning technique that we developed, called Deep Model Learning Actor-Critic. We compare it with a model-free method, Deep Deterministic Policy Gradient, in terms of sample complexity and ability to do transfer learning. Additionally, we provide an implementation of the tested methods.

Keywords

deep reinforcement learning, model-based reinforcement learning, actor-critic, deep learning, OpenAI Gym, control, continuous actions

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 22. 5. 2017

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2017
• Vedúci: doc. RNDr. Tomáš Brázdil, Ph.D.
• Oponent: RNDr. Vojtěch Řehák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Informatics / Artificial Intelligence and Natural Language Processing