Využitie mechanizmov strojového učenia pre riadenie kyberbezpečnostných agentov

Bc. Dominika Blehová

Bachelor's thesis

Employing reinforcement learning for control of cybersecurity agents

Abstract:

Currently, there is an effort to incorporate machine learning mechanisms into various areas of cybersecurity. One of them is the use of these mechanisms to ensure the autonomy of cybersecurity tools, where we observe several unsolved problems, including the size of the state space. In our work, we propose a mechanism that links the decision-making from two neural networks and makes them into a single hierarchical attacker. This attacker uses the PPO algorithm. In the practical part of the work, we implemented and trained the attacker in two separate environments, each forming one level of the hierarchy. We performed the final testing in the CYST simulator environment. However, the operation of the attacker in this environment was not successful. Nevertheless, we consider the mechanism we have developed to be plausible and believe that it has the potential for further development in the future.

Abstract:

V súčasnej dobe je snaha o zapojenie mechanizmov strojového učenia do rôznych oblastí kybernetickej bezpečnosti. Jednou z nich je využitie týchto mechanizmov pre zaistenie autonómie kyberbezpečnostných nástrojov, kde pozorujeme viacero nevyriešených problémov, medzi ktoré patrí aj veľkosť stavového priestoru. V našej práci navrhujeme mechanizmus, ktorý prepojuje rozhodovania z dvoch neurónových sietí, a vytvára z nich jedného hierarchicky sa rozhodujúceho útočníka. Tento útočník používa algoritmus PPO. V praktickej časti práce sme implementovali a vycvičili útočníka v dvoch samostatných prostrediach, z ktorých každé tvorilo jednu úroveň hierarchie. Konečné testovanie sme vykonali v prostredí simulátora CYST. Pôsobenie útočníka v tomto prostredí však nebolo úspešné. Napriek tomu ale považujeme mechanizmus, ktorý sme vytvorili, za hodnoverný a veríme, že má potenciál pre ďalší rozvoj aj v budúcnosti.

Keywords

strojové učenie, učenie na základe spätnej väzby, neurónové siete, hierarchické rozhodovanie, PPO, Tensorforce, kyberbezpečnostný simulátor

Language used: Slovak

Date on which the thesis was submitted / produced: 18. 5. 2023

Thesis defence

• Date of defence: 28. 6. 2023
• Supervisor: RNDr. Martin Drašar, Ph.D.
• Reader: RNDr. Tomáš Jirsík, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics