Experimenting with web-page structural analysis using Deep Reinforcement Learning

Bc. Jindřich Halabala

Bakalářská práce

Anotace:

Tato práce zkoumala možnosti využití hlubokého posilovaného učení pro detekci prvků grafického uživatelského rozhraní ve snímcích obrazovky webových aplikací. Bylo vytvořeno deset prostředí posilovaného učení s rostoucí obtížností, v nichž byli trénováni agenti s využitím různých odměňovacích funkcí, architektur sítí a hyperparametrů, dokud nebyl získán agent schopný dané prostředí úspěšně řešit. Výkonnost výsledného modelu byla následně porovnána se dvěma prototypy vytvořenými pomocí konvenčních přístupů: tradičního počítačového vidění a hlubokého učení s učitelem. Práce dochází k závěru, že ačkoli je možné model čistě pomocí posilovaného učení vytrénovat, v tomto konkrétním případě nepřináší tento přístup žádné výrazné výhody.

Abstract:

This thesis investigated the feasibility of using deep reinforcement learning for the detection of graphical user interface elements in web application screenshots. Ten reinforcement learning environments of increasing complexity were developed, and agents were trained in each using various reward functions, network architectures, and hyperparameters until an agent capable of solving each environment was achieved. The performance of the resulting model was then compared with two prototypes developed using the conventional approaches: traditional computer vision and deep supervised learning. The thesis concludes that, while training a model purely through reinforcement learning is possible, it does not offer significant advantages for this particular problem.

Keywords

deep reinforcement learning, user interface element detection, object detection, computer vision, Stable-Baselines3, YOLO

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2025
• Vedoucí: RNDr. Ondřej Krajíček
• Oponent: RNDr. Samuel Pastva, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Programování a vývoj aplikací / Programování a vývoj aplikací