Revisiting Uncertainty Quantification for Offline Reinforcement Learning

Bc. Vít Unčovský

Diplomová práce

Anotace:

Offline posilované učení (RL) je podoblastí posilovaného učení, která se zabývá tréninkem rozhodovacích agentů výhradně na základě předem nasbíraných dat, bez další interakce s prostředím. Tato diplomová práce zkoumá metody offline učení, které využívají techniky odhadu nejistoty. Hlavní přínosy naší práce jsou trojí: zaprvé poskytujeme přehled klíčových algoritmů založených na kvantifikaci nejistoty; zadruhé implementujeme tyto algoritmy do jednotné algoritmické kostry; a zatřetí využíváme naši implementaci k analýze toho, jak konkrétní aspekty algoritmů ovlivňují stabilitu tréninku a kvalitu získaných agentů v různých scénářích. Na základě experimentálních pozorování zdůrazňujeme silné a slabé stránky představených metod. Dále porovnáváme algoritmy založené na kvantifikaci nejistoty s jinými přístupy k offline učení a diskutujeme jejich vlastnosti, možná zlepšení a směry dalšího výzkumu.

Abstract:

Offline Reinforcement Learning (RL) is a subfield of reinforcement learning that focuses on training decision-making agents solely from fixed, pre-collected datasets, without further interaction with the envi- ronment. This thesis investigates offline learning methods that utilize the technique of uncertainty estimation. The main contributions of our work are threefold: first, we pro- vide a comprehensive survey of key uncertainty-based algorithms; second, we implement these algorithms within a unified algorithmic framework; and third, we leverage this framework to analyze how specific algorithmic choices affect training stability and the quality of the obtained policies in various scenarios. Based on the experimental observations, we highlight the strengths and weaknesses of the introduced methods. We contrast uncertainty- based algorithms with other approaches to offline learning and discuss aspects for improvement and further research.

Keywords

reinforcement learning, offline reinforcement learning, MDP, uncertainty quantification, ensembling, machine learning, deep learning

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 2. 2. 2026
• Vedoucí: doc. RNDr. Petr Novotný, Ph.D.
• Oponent: RNDr. Vít Musil, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Teoretická informatika / Diskrétní algoritmy a modely