Hluboké posilované učení s modelem prostředí a spojitými akcemi

Bc. Karol Kuna

Master's thesis

Model-Based Deep Reinforcement Learning with Continuous Actions

Abstract:

Táto práca študuje využitie modelu prostredia v oblasti hlbokého učenia posilňovaním so spojitými akciami, kde tradičné metódy model prostredia nepoužívajú. Súčasťou práce je teoretický popis nového algoritmu, nazvaného „Deep Model Learning Actor-Critic“, ktorý porovnávame s existujúcou metódou „Deep Deterministic Policy Gradient“. Tieto metódy porovnávame z hľadiska schopnosti riešiť nové úlohy a z hľadiska prenosu naučených znalostí z jednej úlohy do druhej. Súčasťou práce je implementácia testovaných metód.

Abstract:

In this thesis, we study the application of an environment model to deep reinforcement learning with continuous actions, where contemporary methods are typically model-free. We give a theoretical description of a novel model-based actor-critic deep reinforcement learning technique that we developed, called Deep Model Learning Actor-Critic. We compare it with a model-free method, Deep Deterministic Policy Gradient, in terms of sample complexity and ability to do transfer learning. Additionally, we provide an implementation of the tested methods.

Keywords

deep reinforcement learning, model-based reinforcement learning, actor-critic, deep learning, OpenAI Gym, control, continuous actions

Language used: English

Date on which the thesis was submitted / produced: 22. 5. 2017

Thesis defence

• Date of defence: 19. 6. 2017
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: RNDr. Vojtěch Řehák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Artificial Intelligence and Natural Language Processing