Reinforcement learning for financial trading

Ruslan Rozbeiko

Master's thesis

Reinforcement learning pro finanční trading

Abstract:

Integrace reinforcement learning do finančního obchodování je rozvíjející se oblastí studia, navazující na úspěch RL v oblastech jako robotika a hry. Tato práce se zabývá principy RL a zkoumá jeho potenciál pro tvorbu obchodních strategií v rámci finančních trhů. Výzkum se zaměřuje na algoritmus Proximal Policy Optimization (PPO) rozšířený sítěmi Long Short-Term Memory (LSTM) k ověření jeho účinnosti na historických datech Bitcoinu. PPO spolu se schopností LSTM pamatovat si dlouhodobé vztahy, je zvláště vhodný pro navigaci komplexností finančních časových řad. Vyvinuté strategie byly zpětně otestovány na historických datech Bitcoinu k měření jejich účinnosti a potenciálu pro překonání standardních tržních benchmarků. Hodnocení tří odlišných odměnových funkcí poskytlo náhled na to, jak tyto strategie adaptují a jak se chovají v různých tržních podmínkách. Výsledky naznačily, že žádná z odměnových funkcí konzistentně nepřekonala benchmark po celou dobu experimentů. Nicméně, některé odměnové funkce prokázaly pozoruhodnou adaptabilitu na významné změny na trhu. Tato adaptabilita naznačuje, že zatímco hrubé výkonnostní metriky nemusí vždy překonat benchmarky, strategická hodnota RL spočívá v jeho potenciálu přizpůsobit se měnícím se tržním prostředím, což je kritická schopnost pro řízení rizik a prosazování dlouhodobé ziskovosti při finančním obchodování.

Abstract:

The integration of reinforcement learning into financial trading is an emerging area of study, building on the success RL has seen in domains like robotics and gaming. This thesis delves into RL's principles and explores its potential for crafting trading strategies within the financial markets. The research focuses on the Proximal Policy Optimization algorithm enhanced with Long Short-Term Memory networks to test its effectiveness on historical Bitcoin price data. PPO, an advanced learning algorithm, coupled with LSTM's ability to remember long-term patterns, is particularly well-suited to the task of navigating the complexities of financial time series. The strategies developed were backtested against historical Bitcoin price data to measure their effectiveness and potential for outperforming standard market benchmarks. The assessment of three distinct reward functions provided insight into how these strategies adapt to and perform under different market conditions. The results indicated that none of the reward functions consistently outperformed the benchmark throughout the experiments. However, certain reward functions demonstrated notable adaptability to significant market shifts. This adaptability suggests that while raw performance metrics may not always surpass benchmarks, the strategic value of RL lies in its potential to adjust to changing market environments, a critical capability for managing risk and pursuing long-term profitability in financial trading.

Keywords

PPO, finanční trading, Reinforcement learning

Keywords

financial trading, PPO, Reinforcement learning

Language used: English

Date on which the thesis was submitted / produced: 8. 5. 2024

Thesis defence

• Date of defence: 13. 6. 2024
• Supervisor: Milan Fičura
• Reader: Jan Jouda

Vysoká škola ekonomická v Praze

Master programme:
Finanční inženýrství