Pareto Frontier Estimation in Offline Safe Reinforcement Learning

Bc. Václav Nevyhoštěný

Master's thesis

Abstract:

Tato diplomová práce zkoumá offline bezpečné posilované učení (OSRL), kde se agenti musí ze fixních datasetů naučit efektivní rozhodovací strategie a současně dodržet bezpečnostní požadavky. Práce obsahuje přehled existujících přístupů a zdůrazňuje jejich limitace při vyvažování maximalizace odměny a striktního dodržování bezpečnostních požadavků. Následně představujeme Pareto-regularizovaný decision transformer (PDT) — nový algoritmus pro OSRL, který spojuje modelování sekvencí s omezeními (constrained sequence modeling) s mechanismem na aproximaci Paretových křivek, který předchází limitacím spojenými se stávajícímí přístupy. Náš přístup umožňuje plně adaptivní chování, kdy agent dokáže při nasazení zohlednit a přizpůsobit se proměnným bezpečnostním požadavkům. PDT konzistentně překonává předchozí metody na rozsáhlé sadě benchmarků, jak v bezpečnosti, tak v dosažených odměnách. Zejména prokazuje nejsilnější a nejspolehlivější schopnost adaptace na libovolné hranice bezpečnostních po tréninku, čímž ustanovuje nový standard pro robustnost v oblasti OSRL.

Abstract:

This thesis investigates offline safe reinforcement learning (OSRL), where agents must learn effective decision-making policies from fixed datasets while satisfying safety constraints. We review existing approaches and highlight fundamental limitations in their ability to balance reward maximization with strict constraint satisfaction. To address these shortcomings, we introduce the Pareto-regularized decision transformer (PDT), a new OSRL algorithm that integrates constrained sequence modeling with a Pareto Frontier approximation mechanism. This design enables fully adaptive behavior, allowing the agent to reason about and adjust to varying cost budgets at deployment. Across a wide set of benchmarks, PDT consistently outperforms prior methods in both safety and reward performance. Notably, it demonstrates the strongest and most reliable ability to adapt to arbitrary cost thresholds after training, establishing a new standard for robustness in OSRL.

Keywords

reinforcement learning, safe reinforcement learning, offline reinforcement learning, CMDP, Pareto Frontier, decision transformer, machine learning, deep learning

Language used: English

Date on which the thesis was submitted / produced: 16. 12. 2025

Thesis defence

• Date of defence: 2. 2. 2026
• Supervisor: doc. RNDr. Petr Novotný, Ph.D.
• Reader: doc. RNDr. Tomáš Brázdil, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Theoretical computer science / Discrete algorithms and models