Automatické odezírání ze rtů pomocí neuronových sítí

Jakub Kovář

Bachelor's thesis

Neural networks for automatic lip reading

Abstract:

V této práci je popsána problematika odezírání ze rtů, stručně uveden é práce zabývající se touto problematikou a seznámení se s vhodn ými architekturami neuronových sítí. Je zde proveden pokus o ná- vrh modelu schopného odezírání ze rtů, zběžný popis postupu ná- vrhu a optimalizace modelů využívající neuronové sítě. Jsou zde použité námi upravené datasety OuluVS a OuluVS2 k natrénov ání našich modelů. V poslední kapitole jsou komentovány dosažené výsledky konvolučního a rekurentního modelu pro izolované fráze a sekvence získané křížovou validací.

Abstract:

This work describes problems with lip reading, briefly mentions related works and introduces us to viable neural network architectures. It contains attempt to design model capable of lip reading, perfunctory process of desing and optimalization of models using neural networks. Datasets OuluVS and OuluVS2 are used for training of our models. Results of convolutional and reucurrent model are obtained using cross-validation and are discussed in the last chapter.

Keywords

Odezírání ze rtů, extrakce vizuálních charakteristik, konvoluční neuronové sítě, rekurentní neuronové sítě, hluboké učení

Language used: Czech

Date on which the thesis was submitted / produced: 29. 5. 2020

Thesis defence

• Supervisor: Ing. Karel Paleček, Ph.D.

Technical University of Liberec

Faculty of Mechatronics, Informatics and Interdisciplinary Studies

Bachelor programme / field:
Electrical Engineering and Informatics / Electronic Information and Control Systems