Metoda měření user experience chatbotů

Lucie Vodrážková

Master's thesis

Method of chatbot´s user experience measuring

Abstract:

Nárůst počtu nově vzniklých chatbotů zapříčinil vznik velkému množství specifických metod měření user experience chatbotů. Problematika využití chatbotů a jejich měření se stává proto velmi aktuálním tématem. Předkládaná diplomová práce má za cíl vytvořit obecně aplikovatelnou metodu pro měření user experience chatbotů umožňující tržní srovnání a založenou na základě provedeného výzkumu již existujících metod a výběru nejvhodnějších a obecně aplikovatelných atributů. Její aplikace je znázorněna na vybraném volně dostupném chatbotovi na českém trhu. Metoda je podrobena i validaci dalšími uživateli a výsledky validace jsou součástí argumentace pro výslednou metodu. Na základě validace uživatelů došlo k úpravě navrhované metody s cílem zvýšit pravděpodobnost jejího užití uživateli, stejně tak její míru aplikovatelnosti. Tvrzení týkající se typu operačního systému, prohlížeče a zařízení byly odstraněny, tvrzení týkající se vyřešení požadavku chatbotem bylo přidáno a pořadí tvrzení bylo drobně upraveno s cílem podpořit jejich logickou návaznost. Výsledkem práce je obecně aplikovatelná navrhovaná metoda, jejíž jednoduchost užití lze podložit faktem, že v žádném z případů aplikace metody uživateli, nehledě na odvětví, pozici / studium, pohlaví a věk, nebyly zaznamenány značné obtíže s odpovídáním na předložená tvrzení Likertovy škály. Samotné vyhodnocení metody měření user experience chatbotů vyžaduje pouze základní znalost užití aritmetického průměru a směrodatné odchylky. Zároveň jednotlivé oblasti, skupiny atributů a atributy, které byly identifikovány na základě výzkumu, byly pro metodu vybrány za podmínky splnění jejich aplikovatelnosti, na co největší množství chatbotů na trhu, při zachování dostatečného detailu pro identifikaci problematické oblasti nebo funkce chatbota.

Abstract:

The increase in the number of newly created chatbots has led to the emergence of many specific methods for measuring user experience of chatbots. The issue of using chatbots and their measurement is therefore becoming a very up-to-date topic. The submitted diploma thesis aims to create a generally applicable method for measuring user experience chatbots as well as for their possible comparison. The method is based on research of existing specific methods and selection of the most suitable and generally applicable attributes. Its application is shown on a selected freely available chatbot on the Czech market. The method is a subject to validation by other users and results of the validation are part of the argumentation for the resulting method. Based on user validation, the proposed method was modified to increase the probability of its use by the user, as well as its degree of applicability. The claims related to the type of operating system, browser, and device have been removed, the claim related to the fact if the task was resolved by chatbot have been added, and the order of the claims has been slightly modified to support their logical continuity. The result of Master´s Thesis is a proposed generally applicable method, which ease of use can be supported by the fact that in none of the cases of method application by users any significant difficulties were noted, regardless of industry, position / study, gender, and age. The evaluation of the chatbot´s user experience evaluation method itself requires only a basic knowledge of the use of the arithmetic mean and standard deviation. At the same time, each area, groups of attributes and attributes that were identified based on research were selected for the method under the conditions of meeting their applicability to as many chatbots on the market as possible while maintaining sufficient detail to identify the problematic area or chatbot function.

Keywords

chatboti, kvalita chatbotů, Likertova škála, hodnocení, použitelnost, účinnost, účelnost, user experience, metody měření, spokojenost, ISO/IEC

Keywords

measurement methods, Likert scale, evaluation, usability, satisfaction, effectiveness, ISO/IEC, quality of chatbots, efficiency, chatbots, user experience

Language used: Czech

Date on which the thesis was submitted / produced: 5. 12. 2021

Thesis defence

• Date of defence: 24. 1. 2022
• Supervisor: Filip Vencovský
• Reader: Tomáš Bruckner

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Informační systémy a technologie