Supporting Instructors in Tabletop Exercises Using Language Modeling

Bc. Martin Hofbauer

Master's thesis

Abstract:

Používanie programov využívajúcich spracovanie prirodzeného jazyka sa stáva celosvetovým trendom. Tieto programy dokážu poskytovať rady v texte, ako napríklad automatickú korekciu alebo kontrolu gramatiky, ale tiež dokážu porovnávať podobnosti medzi textami. To môže byť výhodné v časovo kritických scenároch, v prípadoch, kedy je potrebné porovnávať veľké množstvo textov. Táto práca predstavuje aplikáciu na spracovanie prirodzeného jazyka s názvom Advisor, ktorá slúži na výpočet podobnosti e-mailov. Advisor je pripravený na integráciu a poskytuje REST API službu pre komunikáciu, ako aj vyhodnotenie jazykových modelov. Poskytuje zoznam najvhodnejších jazykových modelov na použitie s Advisorom, ako aj príručku na používanie Advisora. Advisor poskytuje pomoc inštruktorom automatizovaných tabletop cvičení, ktorí si nemusia sami hľadať odpovede na e-maily v scenároch týchto cvičení. Advisor zlepší časovú efektivitu umožnením vyhnutia sa hľadania odpovedí a zároveň zníži počet nepresných odpovedí na e-maily od účastníkov tabletop cvičení.

Abstract:

The aid of tools using natural language processing is becoming a rising trend worldwide. While these tools are able to provide advice in text, such as autocorrect or grammar checks, they can also compare the similarities between texts. This can be used as an advantage in time-crucial scenarios, where loads of texts need to be compared. This thesis presents a natural language processing application for calculating email similarities called Advisor. Advisor is ready for integration and provides REST API service for communication, as well as a list of evaluated language models. It provides a list of language models most fit to use with Advisor, as well as a manual on how to use Advisor. Advisor provides aid to instructors of automated tabletop exercises, who do not need to look for answers to emails themselves in tabletop exercise scenarios. Advisor will improve time effectiveness, bypassing the need to look up replies, as well as decrease the number of inaccurate responses to emails received from attendees of tabletop exercises.

Keywords

tabletop exercise, language models, language model evaluation, Python, SBERT, API, Docker, Swagger

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 23. 6. 2023
• Supervisor: RNDr. Jan Vykopal, Ph.D.
• Reader: RNDr. Zuzana Nevěřilová, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software systems and services management / Services development management