Sieť typu Transformer a jej použitie

Andrej Vojtuš

Master's thesis

Transformer Type Network and its Use

Anotácia:

Síť typu Transformer je architektura hlubokých neuronových sítí, která v poslední době prokázala úspěch při zpracování přirozeného jazyka (NLP) a dalších úlohách díky své schopnosti modelovat závislosti na dlouhé vzdálenosti, zlepšit paralelní zpracování a snížit výpočetní složitost. Byla úspěšně použita v mnoha úlohách NLP a prokázala vyšší výkonnost ve srovnání s tradičními modely, jako jsou rekurentní a konvoluční neuronové sítě. Jednou z oblastí, ve které síť Transformer také přinesla změnu, je automatické rozpoznávání řeči (ASR). ASR je náročný úkol vzhledem k variabilitě a složitosti lidské řeči. Tato práce zkoumá potenciál sítě Transformer pro přepis mluvených slov do textu a zkoumá její účinnost na slovenských řečových datech ve srovnání s rekurentními modely ASR.

Abstract:

{The Transformer network is a deep neural network architecture that has recently demonstrated success in natural language processing (NLP) and other tasks due to its ability to model long-range dependencies, improve parallel processing, and reduce computational complexity. It has been successfully used in many NLP tasks and has demonstrated superior performance compared to traditional models such as recurrent and convolutional neural networks. One of the areas in which the Transformer network has also made a difference is automatic speech recognition (ASR). ASR is a challenging task due to the variability and complexity of human speech. This paper explores the potential of the Transformer network for spoken word-to-text transcription and investigates its effectiveness on Slovak speech data in comparison with recurrent ASR models.

Kľúčové slová

transformer síť, automatické rozpoznávání řeči, převod řeči na text, zpracování přirozeného jazyka

Keywords

transformer network, automatic speech recognition, speech to text, natural language processing

Jazyk práce: Slovak

Datum vytvoření / odevzdání či podání práce: 30. 4. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 31. 5. 2023
• Vedúci: Jan Platoš
• Oponent: Jiří Dvorský

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / odbor:
Informační a komunikační technologie / Informatika a výpočetní technika