Vyhodnotenie nástrojov poskytovania spätnej väzby v kyberbezpečnostnom tréningu

Bc. Ján Dovjak

Master's thesis

Evaluation of Tools for Providing Feedback in Cybersecurity Training

Abstract:

Feedback is an integral part of the teaching process. It is important not only to present it but also to make it clear and effective. These aspects of feedback need to be verified, and feedback needs to be improved based on them. The same applies to the automated provision of feedback in cybersecurity training. As part of this master's thesis, four runs of cybersecurity training for 48 participants were organized. Participants played a cybersecurity educational game, after which they received automated feedback. 36 participants answered the questions in a survey concerning the given feedback. Their responses were used to evaluate this feedback. The main results of the quantitative analysis are the following: 1. there is a correlation between the understandability and usefulness of individual forms of feedback, 2. individual forms of feedback have mutually different understandability and usefulness, 3. participants with different previous experiences with cybersecurity evaluate the understandability of feedback differently. The qualitative analysis provided suggestions for improvements and extensions of individual feedback forms. The results of the analyses will be used to improve the provision of feedback in cybersecurity training and help in teaching cybersecurity.

Abstract:

Spätná väzba je neodmysliteľnou súčasťou vyučovacieho procesu. Dôležité nie je iba jej podanie, ale aj jej zrozumiteľnosť a efektivita. Tieto aspekty spätnej väzby je potrebné overovať a na základe nich spätnú väzbu vylepšovať. Rovnako to platí aj v prípade automatizovaného poskytovania spätnej väzby v kyberbezpečnostnom tréningu. V rámci tejto diplomovej práce sa podarilo zorganizovať štyri behy kyberbezpečnostného tréningu pre 48 účastníkov. Tí odohrali kyberbezpečnostnú vzdelávaciu hru, po ktorej dostali automatizovanú spätnú väzbu. 36 z nich odpovedalo na otázky v dotazníku, ktorý sa jej týkal. Ich odpovede boli použité k vyhodnoteniu tejto spätnej väzby. Hlavné výsledky kvantitatívnej analýzy sú nasledujúce: 1. existuje korelácia medzi zrozumiteľnosťou a užitočnosťou jednotlivých foriem spätnej väzby, 2. jednotlivé formy spätnej väzby majú navzájom rôznu zrozumiteľnosť a užitočnosť, 3. účastníci s rôznymi predchádzajúcimi skúsenosťami s kyberbezpečnosťou hodnotia zrozumiteľnosť spätnej väzby rôzne. Kvalitatívna analýza priniesla návrhy vylepšení a rozšírení jednotlivých foriem spätnej väzby. Výsledky analýz budú použité k zlepšeniu poskytovania spätnej väzby v kyberbezpečnostnom tréningu a pomôžu vo výuke kyberbezpečnosti.

Kľúčové slová

spätná väzba, KYPO, kvantitatívna analýza, kvalitatívna analýza, feedback, quantitative analysis, qualitative analysis

Jazyk práce: Slovak

Datum vytvoření / odevzdání či podání práce: 17. 5. 2022

Obhajoba závěrečné práce

• Obhajoba proběhla 21. 6. 2022
• Vedúci: RNDr. Valdemar Švábenský
• Oponent: RNDr. Karolína Dočkalová Burská

Masaryk University

Faculty of Informatics

Master programme / odbor:
Computer systems, communication and security / Software systems