Black-Box Hyperparameter Tuning for Risk-Constrained Reinforcement Learning Algorithm

Bc. Ján Petrák

Master's thesis

Abstract:

Táto práca poskytuje prehľad novodobých prístupov k optimalizácii hyperparametrov, ako aj prehľad plánovacieho algoritmu s obmedzeným riskom RAlph, vrátane jeho veľkého množstva hyperparameterov. Práca pokračuje uvedením nevyhnutných súčastí potrebných pre optimalizáciu RAlpových hyperparametrov, ako je napríklad definíca cieľovej funkcie. Po krátkom popise implementácie, práca prezentuje výsledky jej dvoch častí -- analýzy hyperparametrov s cieľom ozrejmiť RAlphove hyperparametrovo závislé správanie a dôležitosti optimalizácie RAlphových hyperparametrov.

Abstract:

The thesis summarizes modern approaches to hyperparameter tuning, followed by a presentation of a risk-constrained reinforcement learning algorithm RAlph, including its wide range of hyperparameters that substantially influence its performance. The continuation of the thesis comprises the necessary setup for tuning RAlph's hyperparameters, such as the definition of an appropriate objective function. After a brief description of the implementation that was used to execute the tuning, the thesis presents the results of its two parts -- grey-box benchmarking that aims to answer basic questions about hyperparameters' behavior, and black-box tuning that shows the importance of tuning RAlph's hyperparameters.

Keywords

RAlph, risk-constrained, reinforcement learning, black-box, hyperparameter tuning, HEBO

Language used: English

Date on which the thesis was submitted / produced: 14. 12. 2021

Thesis defence

• Date of defence: 3. 2. 2022
• Supervisor: RNDr. Petr Novotný, Ph.D.
• Reader: doc. RNDr. Tomáš Brázdil, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Networks and communication