NEURONOVÉ SÍTĚ PRO KLASIFIKACI AUDIO SIGNÁLU

Martin STRÁNSKÝ

Bachelor's thesis

Neural networks for audio signal classification

Abstract:

Tématem bakalářské práce je seznámení se a následná aplikace neuronových sítí v oblasti audiosignálů. Jejím obsahem je problematika využití dostupných architektur neuronových sítí ve spojitosti s audiosignály a jejich popis. Následně je popsána úloha, jejímž cílem bylo zjistit dopad využití různých druhů textové reprezentace anotace (ortografické versus normované) trénovacích audionahrávek pro dotrénování předtrénovaného modelu. Model je následně otestován na testovacím balíku dat a jsou vyhodnoceny důsledky zvoleného trénovacího postupu na jeho výslednou přesnost, diskutován je i dopad dodatečné úpravy výstupu modelu na celkový výsledek. Bylo provedeno několik experimentů, jejichž výsledky jsou následně okomentovány a vyhodnoceny. Na získaných výsledcích je zformulována hypotéza o možnostech využití různých forem dat v závislosti na jejich dostupnosti.

Abstract:

The aim of this thesis is to cover both the necessary fundamentals of the neural networks and how can they can be used in the real application in the field of audio signal processing. In the first part, the fundamentals of deep learning are covered, the terms explained and the development of selected neural network models and architectures briefly described, pointing out some of the caveats of the not-state-of-the-arts methods as these have led to the currently used methods. The significance of the current extensive development in the whole field of machine learning, mainly the emergence of transfer learning, the shift of the paradigm it means and possible social consequences are also stressed. The fundamentals provided are then used to explain the currently developed tools and lastly exploited in a real task. The following part describes the pre-trained model used which served as the basis for the fine-tuning process for the selected task and evaluates the results obtained though this process. In the conclusion a hypothesis about possible approaches varying on the available annotated data in order to obtain best results in similar applications is formulated upon these results.

Keywords

Wav2vec2.0, Transformer, Automatické Rozpoznávání Řeči, Neuronové Sítě, Transkripce Textu, Transfer Learning.

Language used: Czech

Date on which the thesis was submitted / produced: 15. 8. 2022

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Jan Švec, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Applied Sciences and Computer Engineering / Cybernetics and Control Engineering