Automatické odezírání ze rtů pomocí neuronových sítí

Jakub Kovář

Bakalářská práce

Neural networks for automatic lip reading

Anotace:

V této práci je popsána problematika odezírání ze rtů, stručně uveden é práce zabývající se touto problematikou a seznámení se s vhodn ými architekturami neuronových sítí. Je zde proveden pokus o ná- vrh modelu schopného odezírání ze rtů, zběžný popis postupu ná- vrhu a optimalizace modelů využívající neuronové sítě. Jsou zde použité námi upravené datasety OuluVS a OuluVS2 k natrénov ání našich modelů. V poslední kapitole jsou komentovány dosažené výsledky konvolučního a rekurentního modelu pro izolované fráze a sekvence získané křížovou validací.

Abstract:

This work describes problems with lip reading, briefly mentions related works and introduces us to viable neural network architectures. It contains attempt to design model capable of lip reading, perfunctory process of desing and optimalization of models using neural networks. Datasets OuluVS and OuluVS2 are used for training of our models. Results of convolutional and reucurrent model are obtained using cross-validation and are discussed in the last chapter.

Klíčová slova

Odezírání ze rtů, extrakce vizuálních charakteristik, konvoluční neuronové sítě, rekurentní neuronové sítě, hluboké učení

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 29. 5. 2020

Obhajoba závěrečné práce

• Vedoucí: Ing. Karel Paleček, Ph.D.

Technická univerzita v Liberci

Fakulta mechatroniky, informatiky a mezioborových studií

Bakalářský studijní program / obor:
Elektrotechnika a informatika / Elektronické informační a řídicí systémy