Open Source Voice Programming Assistant

Bc. Andrej Hučko

Master's thesis

Abstract:

Aplikácie využívajúce hlasových asistentov sú v poslednom desaťročí na vzostupe a ich zvyšujúca sa dostupnosť pokrýva široké rozpätie užívateľov. Kým všeobecní hlasoví asistenti slúžia pre plnenie bežných úloh, akými sú prehrávanie hudby, prehliadanie internetu či pomáhanie pri navigácii, špecializovaní hlasoví asistenti určení napríklad k vývoju softvéru sú stále vo svojich začiatkoch. Preto je cieľom tejto práce vyvinúť špecializovaného hlasového asistenta pre ľudí so špeciálnymi potrebami, ktorí nedokážu používať svoje ruky pri programovaní. Za týmto účelom bola vyvinutá aplikácia s názvom Elliot Voice Assistant, ktorá bola navrhnutá a implementovaná za pomoci jazykov Python a TypeScript. Aplikácia bola otestovaná 8 participantmi, z ktorých jeden patril medzi ľudí so špeciálnymi potrebami. Participanti sa zúčastnili kvalitatívneho výskumu, ktorého výsledky priniesli spätnú väzbu týkajúcu sa užívateľskej prívetivosti aplikácie a kvantitatívneho výskumu, ktorý poskytol podklady pre tvorbu skóre použiteľnosti. Výsledky testovania preukázali akceptovateľnú použiteľnosť vytvoreného hlasového asistenta spolu s niekoľkými návrhmi na zlepšenie v oblasti výkonnosti a užívateľskej skúsenosti.

Abstract:

Applications based on a voice assistant have been present for more than a decade and are available for a wide range of uses. While general voice assistants offer the ability to perform a range of common tasks such as playing music, searching the web, helping with navigation and other, specialized voice assistants for tasks such as software development are still in their early stages. Therefore, the aim of this thesis is to develop a specialized voice assistant for disabled people who are unable to write code with their hands. To accomplish this goal, a desktop application named Elliot Voice Assistant was designed and implemented in Python and TypeScript. The application was tested by 8 participants, of whom one was physically disabled. The participants took part in qualitative research, the results of which provided feedback about the usability of the assistant, and quantitative research which concluded with a usability score. The results have shown acceptable usability of the created voice assistant with some suggestions for improvement in terms of performance and user experience.

Keywords

human-computer interaction, voice user interface, speech-to-text, voice assistant, programming assistant, desktop application, open source, windows, python, typescript

Language used: English

Date on which the thesis was submitted / produced: 13. 12. 2022

Thesis defence

• Date of defence: 26. 1. 2023
• Supervisor: RNDr. Josef Spurný, Ph.D.
• Reader: RNDr. Jaromír Plhák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software systems and services management / Services development management