Automatické odezírání ze rtů pomocí příznaků LipsID

Ing. Miroslav HLAVÁČ

Doctoral thesis

Automated lipreading using LipsID

Abstract:

The aim of this is thesis is the creation of new visual features for the automatic lipreading systems. State-of-the-art methods (mainly machine learning methods) are not using any form of adaptation for a specific speaker during their training. We ask, how to adapt this method for the purpose of visual speech recognition and how to implement it into the current lipreading methods. Using the analysis of state-of-the-art methods for visual speech feature extraction we propose a new set of features LipsID and the method for extracting them. We show that by adapting the current system (based on neural networks) by the proposed LipsID features a higher recognition rate of the speech can be achieved. The significance of this work is in showing the importance of features based on the speaker identity for the task of lipreading.

Abstract:

Cílem této práce je vytvoření nových vizuálních příznaků pro systémy automatického odezírání ze rtů. Metody současného stavu poznání (především metody strojového učení) nevyužívají při svém trénování možnosti adaptace na konkrétního řečníka. Vyvstává tedy otázka, jak tuto metodu adaptace přizpůsobit pro oblast rozpoznávání vizuální řeči a jak ji implementovat do současných algoritmů pro strojové odezírání ze rtů. Pomocí analýzy současného stavu poznání v oblasti vizuálních příznaků pro rozpoznávání řeči navrhujeme novou parametrizaci LipsID a metodu pro její získání. Ukazujeme, že adaptací současných systému (založených na neuronových sítích) navrženou metodou LipsID se dá dosáhnout vyšší přesnosti rozpoznávání vizuální řeči. Význam této práce spočívá v prokázání významnosti příznaků založených na identitě řečníka pro automatické metody odezírání ze rtů.

Keywords

odezírání ze rtů, strojové učení, neuronové sítě, vizuální příznaky, rozpoznávání řeči

Language used: English

Date on which the thesis was submitted / produced: 29. 10. 2019

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Ing. Miloš Železný, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics