Predicting Student Success in Cybersecurity Training

Bc. Kristián Tkáčik

Master's thesis

Abstract:

Praktické cvičenia v oblasti kybernetickej bezpečnosti umožňujú študentom precvičiť si svoje zručnosti v kontrolovanom prostredí. Tieto cvičenia sú zložité a vyžadujú znalosti zo širokého spektra oblastí. Ak účastníci nedokážu vyriešiť zadanú úlohu, môže ich to frustrovať a brániť ich učeniu. V týchto situáciách pomáha cielená pomoc inštruktora. Keďže je však čas inštruktora obmedzený, sú potrebné účinné spôsoby, ako odhaliť študentov, ktorí sa potýkajú s problémami. KYPO Cyber Range Platform je prostredie pre organizovanie kyberbezpezpečnostných tréningov, ktoré umožňuje zber dát zachytávajúcich aktivitu študentov počas celého tréningu. Pre predikciu úspechu alebo neúspechu študentov sme použili existujúce dáta o aktivite študentov z 244 tréningov. Po extrakcii atribútov z týchto dát sme natrénovali niekoľko klasifikátorov na predpovedanie výsledku tréningu a vyhodnotili sme ich presnosť. Klasifikácia metódou podporných vektorov s RBF kernelom dosiahla najvyššiu vyváženú presnosť rovnú 88,1 %. Výsledky ukazujú, že dáta o aktivite v tréningu kybernetickej bezpečnosti obsahujú informácie použiteľné na predpovedanie úspechu študentov. Okrem toho, výsledky poskytujú pohľad na schopnosť konkrétnych atribútov predpovedať výsledky tréningu a taktiež poskytujú porovnanie presnosti rôznych klasifikátorov využívajúcich tieto atribúty. Tieto zistenia môžu pomôcť inštruktorom pri odhaľovaní študentov, ktorí majú problémy počas tréningu a poskytovaní cielenej pomoci.

Abstract:

Hands-on cybersecurity training exercises enable students to practice their skills in a controlled environment. These exercises are complex and require knowledge of a wide range of topics. Therefore, if trainees cannot solve a given task, it may frustrate them and impede their learning. Targeted aid by the instructor helps in these situations. However, since the instructor's time is limited, efficient ways to detect struggling students are needed. KYPO Cyber Range Platform, a training environment for organizing cybersecurity exercises, enables the collection of log data capturing student activity throughout the training. We used an existing dataset of student activity from 244 training runs to predict student success or failure. After extracting features from the data, we trained several classifiers for predicting the training outcome and evaluated their accuracy. Support vector machines with RBF kernel achieved the highest balanced accuracy of 88.1%. The results show that activity data from cybersecurity training contain information usable for predicting student success. Furthermore, the results provide insight into the features' ability to predict the training outcome and compare the performance of different classifiers utilizing these features. These findings can aid the instructors in detecting struggling students and providing targeted help.

Keywords

data analysis, cybersecurity education, KYPO CRP, Python, data mining, machine learning, classification, analýza dát, kyberbezpečnostné vzdelávanie, dolovanie dát, strojové učenie, klasifikácia

Language used: English

Date on which the thesis was submitted / produced: 13. 12. 2022

Thesis defence

• Date of defence: 26. 1. 2023
• Supervisor: RNDr. Valdemar Švábenský, Ph.D.
• Reader: RNDr. Martin Drašar, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Software systems