Deep Risk-Constrained Reinforcement Learning with Safety Critics

Bc. Martin Gendiar

Diplomová práce

Anotace:

Táto diplomová práca sa zaoberá skúmaním zlepšovania bezpečnosti v rámci hlbokého spätnoväzobného učenia, najmä vo vysoko rizikových prostrediach. Hlavným prínosom tohto výskumu je vývoj a integrácia nového bezpečnostného kritika v rámci algoritmu proximal policy optimization. Táto inovácia má za cieľ vyvážiť maximalizáciu odmeny s minimalizáciou rizika, čím zabezpečuje bezpečnejšie rozhodovacie procesy. Experimenty v dvoch vytvorených prostrediach so spojitou dynamikou ukazujú efektívnosť bezpečnostného kritika, ktorý výrazne zvyšuje bezpečnosť agenta bez kompromisov na jeho výkone.

Abstract:

This thesis addresses the need for enhanced safety in deep reinforcement learning frameworks, particularly in high-risk environments. The central contribution of this research is the development and integration of a novel safety critic within the proximal policy optimization framework. This innovation aims to balance reward maximization with risk minimization, ensuring safer decision-making processes. Experiments in two custom environments with continuous dynamics demonstrate the safety critic's effectiveness, significantly enhancing agent safety without compromising performance.

Keywords

reinforcement learning, safety critic, proximal policy optimization, risk, actor-critic, machine learning, deep learning

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2024
• Vedoucí: doc. RNDr. Petr Novotný, Ph.D.
• Oponent: doc. RNDr. Tomáš Brázdil, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Strojové učení a umělá inteligence