Prerequisite testing of cybersecurity skills

Bc. Valdemar Švábenský

Master's thesis

Abstract:

Bezpečnostní hry představují atraktivní a populární způsob aktivní výuky. Většina stávajících her je však zaměřena na pokročilé hráče, což často vede k frustraci začátečníků. Jednou z cest, jak zvýšit dopad vzdělávací hry je diagnostické testování znalostí a dovedností účastníků ještě před začátkem hry. Výsledky testování umožňují učitelům nebo automatizovaným výukovým prostředím pomáhat účastníkům s herními úkoly a zvýšit tak efektivitu praktické výuky. Tato diplomová práce je průkopnickým pokusem ve výzkumu testování prerekvizit znalostí v oblasti kybernetické bezpečnosti. Práce vychází z důkladné rešerše literatury a průzkumu moderních platforem pro trénink kybernetické bezpečnosti a navrhuje metodologii pro návrh nových bezpečnostních her včetně testu vstupních znalostí. Navržená metodologie je použita pro vytvoření prvního testu prerekvizit pro bezpečnostní hru v prostředí Kybernetického polygonu (KYPO) Masarykovy univerzity. Navržený test je dále vyhodnocen pomocí experimentu zahrnující skutečné hráče bezpečnostní hry. Výsledky experimentu ukazují, že dovednost hráčů, která je vyjádřená jako herní skóre je možné předpovědět na základě testu prerekvizit. Přesnost předpovědi se zlepšila po přidání hodnocení jistoty v odpověď hráče. Kvalitativní studie herních událostí dále odhalila několik anomálií ve vzorech herních výkonů účastníků, což odkrylo mnoho faktorů, které mohou vnášet šum do předpovědi. Výsledky práce přináší unikátní vhled do problematiky diagnostického testování v oblasti kyberbezpečnosti a ukazují i směr budoucího výzkumu.

Abstract:

Cybersecurity games are an attractive and popular method of active learning. However, the majority of current games are created for advanced players, which often leads to frustration of less experienced learners. Diagnostic assessment of participants' knowledge and skills before starting an educational game can increase the benefits of playing. The information acquired by prerequisite testing enables tutors or learning environments to suitably assist participants with game challenges and maximize learning in their virtual adventure. To the best of our knowledge, this work is a pioneering attempt in researching prerequisite testing of cybersecurity skills. The thesis proposes a methodology for developing cybersecurity games and pretests, resulting from a thorough literature review and exploration of state-of-the-art cybersecurity platforms. The method is applied in practice to create the first prerequisite test for a cybersecurity game in the KYPO: Cyber Exercise and Research Platform at Masaryk University. Moreover, this work investigates the pretest's predictive value for identification of learners' readiness before playing the KYPO game. The lessons learned from the experimental study are vast. A linear regression analysis confirmed that players' skill, expressed using the game score, can be predicted by the prerequisite test result. Furthermore, the model's accuracy and statistical significance improved after confidence assessment of certainty in one's answers was introduced. Interestingly, the qualitative study of in-game actions revealed several anomalies in the performance patterns of the participants. These findings uncovered numerous factors that may create noise in the model, bringing unique insights into the field and implying new opportunities for future research.

Keywords

active learning, cybersecurity games, diagnostic assessment, prerequisite testing, linear regression modeling, KYPO

Language used: English

Date on which the thesis was submitted / produced: 18. 5. 2017

Thesis defence

• Date of defence: 22. 6. 2017
• Supervisor: RNDr. Jan Vykopal, Ph.D.
• Reader: doc. Ing. Pavel Čeleda, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Information Technology Security