Nástroj pro automatický přepis řeči nerodilých mluvčí českého jazyka

Mgr. Richard Holaj, Ph.D.

Doctoral thesis

Tool for an automatic transcription of speech of non-native speakers of Czech

Abstract:

Problematika výslovnosti je ve výuce cizích jazyků (včetně češtiny jako cizího jazyka) často zanedbávána, přestože její vliv na osvojení jazyka je značný. Jedním z důvodů je, že lektoři naráží na omezené prostředky pro výuku a zejména ověřování této kompetence u studentů. Zpětná vazba na výslovnost studentů je vysoce individuální a klade na vyučujícího vysoké nároky. Řešením tohoto problému se zdají být počítačové nástroje, které by umožnily zpětnou vazbu a vyhodnocování výslovnosti provádět automaticky. Takové nástroje však vyžadují přesnou automatickou transkripci mluvené řeči nerodilých mluvčích, která je schopna rozlišovat i takové zvukové segmenty, které se v osvojovaném jazyce běžně nevyskytují. Předkládaná práce se zabývá tvorbou automatického transkripčního systému, a to konkrétně pro řeč nerodilých mluvčích češtiny. Při návrhu tohoto systému byly vytvořeny celkem tři různé anotační systémy (dva využívají anotaci atributivní a jeden anotaci syntetickou), pomocí nichž bylo metodami strojového učení vytvořeno celkem pět modelů rozpoznání řeči, které byly následně otestovány pro úlohu automatické transkripce řeči nerodilých mluvčích. Nejlepší z našich modelů dosáhl úspěšnosti rozpoznání zvukových segmentů 77 %. Ačkoliv tato úspěšnost není zatím dostačující pro využití v praxi, jedná se o výrazný pokrok v dané oblasti, jelikož dosud není žádný jiný nástroj, který by byl schopen automatické transkripce řeči nerodilých mluvčích češtiny, a reflektoval i ty zvukové segmenty, které se nenachází ve standardní češtině. V navazujícím výzkumu je možné tuto úspěšnost zvýšit získáním většího množství dat a zlepšením anotačního systému. Následně je zamýšleno tento systém využít pro vytvoření nástroje pro automatickou zpětnou vazbu na výslovnost nerodilých mluvčích češtiny.

Abstract:

The issue of pronunciation is often neglected in the teaching of foreign languages (including Czech as a foreign language), although its influence on language acquisition is considerable. One of the reasons for this is that lecturers are faced with limited resources for teaching and, in particular, testing this competence in students. Feedback on students' pronunciation is highly individual and places high demands on the teacher. The solution to this problem seems to be computer-based tools that would allow feedback and evaluation of pronunciation to be done automatically. However, such tools require accurate automatic transcription of non-native speakers' spoken speech, which is able to distinguish even sound segments that are not commonly found in the language being acquired. The present work deals with the development of an automatic transcription system, specifically for the speech of non-native speakers of Czech. In designing this system, three different annotation systems (two using attributive annotation and one using synthetic annotation) were created, using machine learning methods to create a total of five speech recognition models, which were then tested for the task of automatic transcription of non-native speakers' speech. The best of our models achieved a sound segment recognition success rate of 77 %. Although this success rate is not yet sufficient for practical use, it is a significant advance in the field, as there is no other tool that is capable of automatically transcribing the speech of non-native speakers of Czech, while reflecting even those sound segments that are not found in standard Czech. In follow-up research, this success rate can be improved by obtaining more data and improving the annotation system. Subsequently, it is intended to use this system to create a tool for automatic feedback on the pronunciation of non-native speakers of Czech.

Keywords

automatické rozpoznání řeči, čeština jako cizí jazyk, neuronové sítě, výuka výslovnosti, fonetická anotace, transkripce, e-learning, atributivní anotace, syntetická anotace, automatic speech recognition, Czech as a foreign language, neural networks, teaching pronunciation, phonetic annotation, transcription, attributive annotation, syntetic annotation

Language used: Czech

Date on which the thesis was submitted / produced: 2. 5. 2023

Thesis defence

• Date of defence: 20. 6. 2023
• Supervisor: doc. Mgr. Markéta Ziková, Ph.D.
• Reader: doc. Mgr. Radek Čech, Ph.D., Ing. Alexandr Rosen, Ph.D.

Masaryk University

Faculty of Arts

Doctoral programme / field:
Czech Language / Czech language