Analyzing Loss of Motivation in Cybersecurity Trainings

Bc. Radoslav Chudovský

Master's thesis

Abstract:

Kybernetická bezpečnosť je komplexná oblasť, ktorá zahŕňa mnoho oblastí informatiky a vyžaduje si nové prístupy vo vzdelávaní. Praktické kyberbezpečnostné tréningy predstavujú pre študentov pútavý a často preferovaný spôsob, ako si osvojiť potrebné praktické zručnosti v oblasti kybernetickej bezpečnosti a naučiť sa nové nástroje. Takéto tréningy však môžu byť kontraproduktívne a viesť k strate motivácie študentov, ak náročnosť tréningu nezodpovedá úrovni zručností študenta. Z týchto dôvodov existujú rôzne vizualizačné nástroje, ktoré návrhárom pomáhajú vykonávať analýzu po ukončení tréningu. KYPO Analyst je nástroj, ktorý využíva metódy process-miningu na vytváranie behaviorálnych grafov reprezentujúcich, ako študenti prechádali tréningom. Výsledné grafy však môžu byť masívne a nevhodné na analýzu kvôli ich veľkosti. V tejto práci rozširujeme KYPO Analyst o návrh a implementáciu vizualizácií, ktoré by mohli pomôcť odhaliť súvislosti v dátach a pomôcť pri analýze v kontexte motivácie študentov. Začíname analýzou našich dát ako viacrozmerných sietí a výberom vhodných techník. Práca končí analýzou, v ktorej identifikujeme zmeny v motivácii, na základe vizualizovaných údajov vyvodíme možné príčiny, a nájdeme náročné časti tréningu podľa skupinového správania počas niektorých segmentov. Tieto informácie by mohli poskytnúť návrhárom poznatky o tréningu a pomôcť im zlepšiť ho s cieľom podporiť vzdelávanie študentov v oblasti kybernetickej bezpečnosti.

Abstract:

Cybersecurity is a complex domain spanning many computer science fields requiring new approaches in its education. Hands-on cybersecurity trainings provide an engaging and often preferred way for students to learn needed practical cybersecurity skill and learn new tools. However, such training can be counterproductive and lead to a loss of motivation in students when the training difficulty does not match the student's skill level. For these reasons, various visualization tools exist to help instructors perform post-training analysis. KYPO Analyst is a tool that utilizes process-mining methods to create behavioral graphs representing students' walkthroughs of the training. However, the resulting graphs can be massive and unsuitable for analysis because of their size. In this thesis, we extend KYPO Analyst by proposing and implementing visualizations that could help reveal links in the data and assist the analysis in the context of students' motivation. We start by analyzing our data as multivariate networks and choose suitable techniques. The thesis ends with an analysis, where we identify changes in motivation, conclude possible causes based on visualized data, and find challenging parts of the training based on group behavior during some segments. This information could give designers insights about the training and help them improve it to support students' cybersecurity education.

Keywords

KYPO CRP, KYPO Analyst, visualization, cybersecurity training, cybersecurity education, loss of motivation, process mining, multivariate networks

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 19. 6. 2023
• Supervisor: doc. RNDr. Radek Ošlejšek, Ph.D.
• Reader: RNDr. Karolína Dočkalová Burská

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Software systems