Asset allocation with reinforcement learning

Bc. Lukáš Galeta

Master's thesis

Abstract:

Kvantitativní algoritmické obchodování je zkvétající obor díky schopnosti modelů strojového učení nacházet v datech skryté vzory, které mohou vést ke generování nadměrných výnosů. Jednou z nejslibnějších oblastí strojového učení v kvantitativním algoritmickém obchodování je reinforcement learning. Cílem této diplomové práce je představit a vyhodnotit jednoduchý reinfocment lerning model pro alokaci aktiv. Problém alokace aktiv je modelován jako částečně pozorovatelný Markovův rozhodovací proces, kde reinforcement learning agent nemůže plně pozorovat prostředí. Tato diplomová práce využívá Q-learning a slukovací algoritmy jako Gaussian mixture model a K-means. Optimalizační funkce agenta je definována jako maximalizace diskontovaného výnosu portfolia pěti následujících obchodních dnů. Navržený model překonává referenční index S&P 500, v rámci průměrného výnosu, maximálního drawdown a Sharpe ratio. Nejrobustnější model, stacked model of stacked models, konzistentně překonává strategii buy and hold na S&P 500 v letech 2015 až 2024. Model dokázal dosahovat trvale vyšších výnosů a podobného maximálního drawdownu. Tento model dosahuje Sharpe ratio 2,2 oproti 1,5 na testovacích datech. Nejvýkonnější stacked model, který se skládal z pákového agenta využívajícího přepínač režimů VIX s výchozí akcí, byl schopen dosáhnout výnosu 231 % oproti 100 %, Sharpe ratio 2,6 oproti 1,5 s podobným maximálním drawdownem 41 % jako strategie buy and hold. Výsledky také ukazují, že navržený systém reprezentace stavů jako řešení částečné pozorovatelnosti obchodního prostředí by měl být vylepšen. Klíčová zjištění jsou následující. Za prvé, Q-learning s rozšířenou pákovou akcí může překonat strategii buy and hold s podobným maximálním drawdownem. Zadruhé, přepínání tržních režimů je účinnou technikou jak vylepšit reinforcement learning agenta.

Abstract:

Quantitative algorithmic trading is a flourishing field due to the capability of machine learning models to find hidden patterns in data, which may lead to the generation of excess returns. One of the most promising areas of machine learning in quantitative algorithmic trading is reinforcement learning. This diploma thesis aims to introduce and evaluate a simple reinforcement learning framework for asset allocation. Asset allocation problem is modelled as a partially observable Markov decision process, where the reinforcement agent cannot fully observe the environment. This diploma thesis utilises Q-learning and the Gaussian mixture model with K-means clustering. The agent’s objective function is defined as the maximisation of the discounted portfolio return of 5 following trading days. The proposed reinforcement learning framework outperformed the S&P 500 benchmark index regarding average return, maximal drawdown, and Sharpe ratio. The most robust model, a stacked model of stacked models, consistently overperforms the benchmark S&P 500 buy and hold strategy from 2015 to 2024. The model was able to achieve persistently higher returns and similar maximal drawdown. This model achieves a Sharpe ratio of 2.2 compared to 1.5 on test data. The most powerful stacked model, which consisted of a leveraged agent utilising VIX regime switcher, was able to achieve a return of 231% in contrast to 100%, the Sharpe ratio of 2.6 in comparison to 1.5 with a similar maximal drawdown of 41% as buy and hold strategy. Results also show that a state representation system as the solution to partial observability of the trading environment should be improved. The key findings are the following. Firstly, Q-learning with extended leverage action can overperform the buy and hold strategy with a similar maximal drawdown. Secondly, market regime switch is a powerful technique to combine reinforcement learning agent with.

Keywords

reinforcement learning, Q-learning, alokace aktiv, asset allocation

Language used: English

Date on which the thesis was submitted / produced: 10. 5. 2024

Thesis defence

• Date of defence: 21. 6. 2024
• Supervisor: prof. Ing. Štefan Lyócsa, PhD.
• Reader: doc. Ing. Jan Čapek, Ph.D.

Masaryk University

Faculty of Economics and Administration

Master programme / field:
Mathematical and Statistical Methods in Economics / Mathematical and Statistical Methods in Economics