Learning Analytics for Instructors of Tabletop Exercises

Bc. Daniel Štěpán

Master's thesis

Abstract:

Tato diplomová práce analyzuje data z kyberbezpečnostních tabletop cvičení prováděných pomocí platformy TTXperience. Byly porovnány dva odlišné přístupy: využití existujícího generického řešení a vývoj vlastního nástroje pro analýzu dat. Webová aplikace byla vytvořena s využitím technologií Angular a D3.js. Dále byl využit Elastic Stack a nakonfigurován Logstash pro zpracování logů získaných z nástroje TTXperience a jejich uložení do Elasticsearch. Za účelem analýzy cvičení bylo vytvořeno několik vizualizací v nástroji Kibana. Komponenta s časovou osou zobrazující akce účastníků cvičení v čase byla vytvořena pomocí gramatiky Vega. Srovnání dochází k závěru, že oba zkoumané přístupy mají své výhody a nevýhody. Vývoj vlastního nástroje je časově náročný dokonce i při provádění drobných úprav. Navíc je vyžadována znalost mnoha technologií. Pokud je však použita knihovna typu D3.js, je možné vytvářet komplexnější a interaktivní vizualizace. Co se týče použití obecného řešení (Kibany z Elastic Stack), tak vizualizace lze rychle a snadno vytvářet a upravovat. Učení je rychlé a není potřeba žádných speciálních znalostí, navíc je možné použít Kibana Query Language pro filtrování dat. Nicméně pro vytváření nestandardních vizualizací s využitím gramatiky Vega jsou potřeba hlubší znalosti. Prototyp vytvořeného nástroje byl využit během tabletop cvičení v rámci kurzu kyberbezpečnosti na Masarykově univerzitě. Nástroj úspěšně pomohl monitorovat průběh cvičení a analyzovat učení účastníků cvičení.

Abstract:

This thesis analyzes data from cybersecurity tabletop exercises conducted using the TTXperience platform. Two distinct approaches were compared: leveraging an existing generic solution and developing a custom tool for data analysis. A web application was created using Angular and D3.js. Additionally, the Elastic Stack was set up with Logstash to process and store logs from the TTXperience tool in Elasticsearch. Several visualizations were created in Kibana for exercise analysis. A timeline graph component showing participant actions over time was created using the Vega visualization grammar. The comparison concludes that both mentioned approaches have their advantages and disadvantages. Custom tool development is time-consuming, even when making minor modifications. Moreover, mastering many technologies is required. However, if a library such as D3.js is used, it is possible to create complex and interactive visualizations. Regarding using a generic solution (Kibana from Elastic Stack), visualizations are quick and easy to create and modify. The learning curve is short, and no special knowledge is needed. Additionally, it is easy to use the Kibana Query Language to filter the data. However, more profound knowledge is needed if the Vega visualization grammar is used to create non-standard visualizations. A prototype of the custom-developed tool was used during a tabletop exercise conducted in a cybersecurity course at Masaryk University. The tool successfully helped monitor the progress of the exercise and analyze the participants' learning.

Keywords

tabletop exercises, learning analytics, Angular, Elastic Stack

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 12. 2. 2024
• Supervisor: doc. RNDr. Jan Vykopal, Ph.D.
• Reader: RNDr. Karolína Dočkalová Burská

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Deployment and operations of software systems