Reinforcement Learning for Efficient Attack Agents Training

Bc. Glenn Fischer

Bachelor's thesis

Anotácia:

Umelá inteligencia otvára nové možnosti skúmania a odhaľovania nových útočných stratégií bez skutočného ohrozenia siete. Jedným z najperspektívnejších prístupov k tvorbe útočných entít prostredníctvom strojového učenia je reinforcement learning, tj. spätnoväzobné učenie. Tento prístup umožňuje vytvárať obranné postupy proti útokom, ktoré sa v realite neodohrali, ale ich realizácia je možná. Spätnoväzobné učenie samo o sebe k tvorbe stratégii nestačí a je nutné vytvoriť podmienky, v ktorých bude umelá inteligencia trénovať. Rovnako dôležité je zaistiť spôsob generovania sieťových topológií tak, aby simulovaný priestor, v ktorom bude umelá inteligencia trénovať, bol dostatočne rozmanitý. Zároveň je žiadúce aby výstupy z učenia boli viac generalizované a vyjadrovali skutočne aplikovateľné ofenzívne postupy. Cieľom tejto práce je skúmať možnosti využitia spätnoväzobného učenia na tvorbu útočných entít, ktoré včas odhalia obranné mechanizmy a samé rozhodnú o spôsobe, ako sa týmto obranným mechanizmom úspešne vyhnúť.

Abstract:

By using AI within a simulation, we create a means of discovering new attack strategies without the dangers of actual network attacks. One of the most promising machine learning approaches to creating attack agents is reinforcement learning. Using this approach, it is possible to create defences against attacks that have not taken place in real systems. While reinforcement learning agents may be able to create optimal strategies, they do need an environment where they can train. A means of generating topologies is also required so that the training agents can encounter a plethora of different network layouts and create more generalised attack strategies. This thesis aims to explore the possibilities of applying reinforcement learning to train attack agents that will discover the defence mechanism and choose an optimal strategy to reach the mission goal.

Keywords

reinforcement learning, cyber-attack simulator, topology generation, Q-learning, SARSA

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 19. 5. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 28. 6. 2022
• Vedúci: RNDr. Tomáš Jirsík, Ph.D.
• Oponent: RNDr. Martin Drašar, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Informatics / Informatics