Automated Feedback for Cybersecurity Training

RNDr. Valdemar Švábenský

Doctoral thesis

Abstract:

Studenti a experti v oblasti kyberbezpečnosti potřebují praktický trénink, aby získali zkušenosti a znalosti pro zvládání aktuálních kybernetických hrozeb. Zpětná vazba k jejich učení je stěžejní součástí vzdělávacího procesu. Poskytnutí detailní zpětné vazby je však náročné z důvodu složitosti prováděného tréninku. Proto tato práce zkoumá inovativní metody pro poskytování automatizované zpětné vazby účastníkům kyberbezpečnostního tréninku. Práce se zaměřuje na tři témata. Nejprve byly navrženy metody pro sběr relevantních dat z tréninku, zejména dat o interakci s tréninkovým rozhraním a příkazovým řádkem. Tyto metody byly použity ve 30 autentických trénincích s 244 studenty. Výsledkem bylo shromáždění dat o 7220 akcích a 13446 příkazech s metadaty. Tato data byla pak analyzována za použití kombinace kvantitativních a kvalitativních metod, které zahrnují modelování postupu, analýzu chyb, dolování dat a vizualizace. Následně byly diskutovány pedagogické vhledy získané z těchto analýz. Tyto výsledky byly základem pro poskytnutí automaticky generované zpětné vazby studentům a učitelům, kteří se účastní tréninku. Evaluace ukázala, že zpětná vazba je přínosná a podporuje vzdělávací proces. Realizovaný výzkum přispívá ke zlepšení praktické výuky kyberbezpečnosti a vývoje interaktivních vzdělávacích prostředí.

Abstract:

Cybersecurity students and experts need hands-on training to acquire experience and learn how to mitigate the current cyber threats. Providing feedback on their learning is a crucial part of the educational process, but delivering in-depth feedback is challenging due to the training's complexity. Therefore, this thesis investigates innovative methods for providing automated feedback to participants of cybersecurity training. We address three research topics. First, we propose methods for collecting relevant data from the training, focusing on interactions with the training interface and the command line. We deployed these methods in 30 authentic training sessions to gather a dataset of 7220 actions and 13446 commands with metadata from 244 learners. Second, we analyze the data using a combination of quantitative and qualitative techniques, which include progress modeling, error analysis, data mining, and visualizations. Subsequently, we discuss the pedagogical insights gathered from these data analyses. Third, we use the insights to provide automatically generated feedback to learners and instructors participating in the training. Its evaluation showed that the feedback is valuable and supports the learning process. Overall, our applied research contributes to cybersecurity teaching practice and the development of interactive learning environments.

Keywords

cybersecurity education, cybersecurity game, capture the flag, active learning, interactive learning environment, educational data mining, learning analytics, assessment

Language used: English

Date on which the thesis was submitted / produced: 25. 2. 2022

Thesis defence

• Date of defence: 1. 7. 2022
• Supervisor: doc. Ing. Pavel Čeleda, Ph.D.
• Reader: PhD Basel Katt, Risto Vaarandi, PhD

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Computing Technology and Methodology