Rozpoznávání řeči pomocí neuronových sítí s navazujícím sequence-to-sequence modelem

Matěj ŠULC

Bachelor's thesis

Speech recognition using neural networks followed by a sequence-to-sequence model

Abstract:

Tato bakalářská práce se zaměřuje na vývoj a optimalizaci systému rozpoznávání řeči využívající kombinaci dvou hlavních technologických nástrojů z domén zpracování akustických signálů a přirozeného jazyka, a to neuronové sítě Wav2Vec2.0, která je doplněna o sequence-to-sequence model T5. Cílem je zvýšit přesnost převodu mluveného slova na textový formát. V první části práce je proveden rozbor metody Wav2Vec2.0, která slouží k extrakci významných akustických informací z audio nahrávek a vytvoření textové reprezentace. Následně je popsán sequence-to-sequence model T5, jenž slouží k úpravě získaného přepisu řeči, jelikož na rozdíl od Wa2Vec2.0 modelu vychází ze znalostí o přirozeném jazyce. Tyto dva klíčové prvky jsou následně integrovány do funkčního systému pro rozpoznávání řeči.

Abstract:

This bachelor thesis focuses on the development and optimization of a speech recognition system utilizing a combination of two main technological tools from the domains of acoustic signal processing and natural language processing: the Wav2Vec2.0 neural network, complemented by the sequence-to-sequence model T5. The goal is to enhance the accuracy of converting spoken words into textual format. In the first part of the thesis, an analysis of the Wav2Vec2.0 method is conducted, which serves for extracting significant acoustic information from audio recordings and creating a textual representation. Subsequently, the sequence-to-sequence model T5 is described, which is used to refine the obtained speech transcription, as it differs from the Wa2Vec2.0 model by incorporating knowledge about natural language. These two key elements are then integrated into a functional system for speech recognition.

Keywords

automatické rozpoznání řeči, ASR, STT, Transformers, Wav2Vec2.0, seq2seq, T5

Language used: Czech

Date on which the thesis was submitted / produced: 16. 5. 2024

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Jan Lehečka, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Cybernetics and Control Engineering / Artificial Intelligence and Automation