Toward an Automated Feedback System in Educational Cybersecurity Games

Mgr. Valdemar Švábenský

Advanced ('rigorózní') thesis

Abstract:

Ve vzdělávacích hrách účastníci řeší tréninkové úkoly, které mají vícero postupů k řešení. Příkladem takové hry je Capture the Flag, populární typ tréninkové aktivity určené k procvičení kyberbezpečnostních dovedností. Během hry je nutná pravidelná zpětná vazba hráčům pro podporu jejich učení. Manuální poskytování zpětné vazby však vyžaduje expertního instruktora a je také časově náročné. Proto je naším cílem automatizace tohoto procesu vytvořením virtuálního asistenta učení. Abychom dosáhli tohoto cíle, potřebujeme adresovat tři výzkumná témata. Prvním je definice formálního modelu pro úkoly ve vzdělávacích hrách v doméně kyberbezpečnosti. Druhým je využití dat hráčů pro zvýšení přesnosti modelu. Třetím je aplikace modelu pro poskytnutí personalizované zpětné vazby. Pro adresování prvního tématu navrhneme přechodový graf, který bude popisovat, jak mohou jednotliví hráči postupovat v herních úkolech a jaké akce mohou provést. Dále vytvoříme metody datové analýzy pro odvození informací o postupu každého hráče. Je možné sbírat data o akcích hráčů, jako jsou napsané příkazy a pokusy o řešení, spolu s jejich časováním. Tyto data použijeme pro zpřesnení modelu konkrétní hry. Nakonec aplikujeme model pro poskytnutí personalizované formativní zpětné vazby. Ta bude zahrnovat nápovědy a rozbor hráčovy strategie pro podporu jeho učení. Abychom vyhodnotili náš výzkum, otestujeme hypotézu, že hráči, kteří dostanou tuto zpětnou vazbu budou mít významně lepší výkon v dané hře než jiní hráči. Směřujeme k dosažení teoretických i aplikovaných výsledků. Za prvé, vyvineme obecný postup pro modelování úkolů v kyberbezpečnostních hrách. Za druhé, tento postup doplníme souvisejícími metodami datové analýzy a prozkoumáme vzory v řešeních herních úkolů. Za třetí, vytvoříme software, který bude pomáhat hráčům poskytováním zpětné vazby. I když systémy automatizované zpětné vazby existují ve výuce programování, inovace v našem přístupu spočívá v kontextu vzdělávacích her. Data z nich jsou více heterogenní než data z programátorských úkolů. Navíc, kyberbezpečnostní úkoly vyžadují použití doménově specifických nástrojů. Náš výzkum zvýší vzdělávací dopad těchto her a sníží jejich závislost na lidských expertech. Ve výsledku bude více studentů moct rozvíjet svoje kyberbezpečnostní dovednosti individuálním tempem.

Abstract:

Educational games feature practice tasks with multiple approaches to the solution. An example of such a game is Capture the Flag, a popular type of training activity for exercising cybersecurity skills. During the game, regular feedback is crucial to support learning of novice players. However, providing feedback manually requires an expert instructor and is time-consuming. Therefore, our goal is to automate the process by creating a virtual learning assistant. To achieve this goal, we need to address three research topics. The first is defining a formal model for tasks in educational games within the cybersecurity domain. The second is leveraging the data of players to improve the accuracy of the model. The third is employing the model to provide personalized feedback. To address the first topic, we propose a transition graph describing how a single player can progress through the game tasks and what actions (s)he can perform. Next, we will develop data analysis methods for deriving information about the progress of each player. It is possible to collect data about players’ in-game actions, such as typed commands or solution attempts, along with their timing. We will leverage this data to improve the accuracy of the model for a particular game. Finally, we will employ the model to provide automated, personalized formative feedback. The feedback will include hints and debriefing of the player's strategy to support learning. To evaluate our research, We will test the hypothesis that players who receive the feedback will perform significantly better than others on the same game. We aim to contribute both theoretical and applied results. First, we will develop a general approach to model tasks in cybersecurity games. Second, we will provide associated methods for data analysis and explore patterns in solving the game tasks. Third, we will create software that will assist players by providing feedback. Although there are automated feedback systems for learning programming, the novelty of our approach lies in the context of educational games. The data logged from them are more heterogeneous than data from programming assignments, and cybersecurity tasks require using domain-specific tools. Our research will increase the educational impact of the games and reduce their dependency on human experts. As a result, more students will be able to learn cybersecurity skills at an individual pace.

Keywords

cybersecurity games, capture the flag, active learning, adult education, educational data mining, learning analytics, formative assessment, intelligent tutoring systems

Language used: English

Date on which the thesis was submitted / produced: 18. 3. 2019

Thesis defence

• Date of defence: 27. 5. 2019
• Reader: prof. Renate Motschnig, doc. Mgr. Radek Pelánek, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics