Automatické rozpoznání výrazu tváře s libovolným natočením v prostoru

Ing. Jana TROJANOVÁ

Doctoral thesis

Automatic Facial Expression Recognition For Arbitrary Head Pose

Abstract:

Výraz tváře je přirozeným prostředkem při mezilidské komunikaci. Automatické rozpoznání výrazu tváře je proto důležité pro vývoj systému komunikace mezi člověkem a počítačem. Stávající systémy pro rozpoznávání výrazu tváře pracují převážně s daty pořízenými v kontrolovaném prostředí. Osoba je vyzvána k provedení výrazu tváře s omezeným pohybem hlavy v prostoru. Natočení tváře mimo čelní pohled je tedy minimální. Systémy navržené pro tento typ dat se nedokáží vyrovnat s reálnými daty obsahující libovolné natočení tváře. Jejich úspěšnost se výrazně snižuje s natočením tváře mimo čelní pohled. Disertační práce se zaměřuje na řešení problému libovolného natočení tváře v prostoru. Nově navržená metoda pro předzpracování vstupních dat je schopná provést 3D rekonstrukci objektu tváře s libovolným výrazem z jediného 2D snímku. Klasifikátoru jsou předkládány snímky v čelním natočením tváře. V této práci byl navržen a experimentálně ověřen systém schopný rozpoznat výraz tváře pro sklon hlavy 30 stupňů a otočením do stran 45 stupňů. Vytvořený systém byl experimentálně ověřen na datech ze soutěže FERA 2011 (First Facial Expression Analysis Challange). Data z FERA 2011 se nejvíce přibližují reálným datům, obsahují libovolné natočení tváře v rozsahu 30° ve všech směrech od čelního pohledu. Pro rozpoznávání kategorických emocí dosáhl základní systém 63% a systém s 3D rekonstrukcí 73%. Nově navržená metoda pro normalizaci tváře na čelní pohled s využitím 3D rekonstrukce z jediného 2D snímku nabízí alternativní řešení ke klasickým metodám pro pořízení 3D dat.

Abstract:

Facial expressions are a vital part of human communication. Automatic facial expression recognition is essential while designing system for human computer interaction. Existing systems for expression recognition works in controlled environment. Subject is asked to perform an expression while his head is looking straight into camera. Other views than the frontal view are absent. System designed for such data are unable to work with real data containing arbitrary pose. This work is focused on the problem of facial expression recognition with arbitrary view. A new method able to perform 3D reconstruction of facial expression with arbitrary view from single 2D image has been developed. The method is able to work with face with tilt view 30° and side view 45°. Designed system was experimentally tested on data from The First Facial Expression Recognition Challenge (FERA 2011). This data are very close to real one. Data contains various head pose that vary 30° from frontal view. For the task of emotion recognition the basic system obtain recognition rate of 63%, and system with 3D reconstruction obtained 73%. The new method for face normalization to frontal view using the 3D reconstruction of face from single 2D image offers an alternative way to classical method for acquisition of 3D data.

Keywords

zpracování obrazu, rozpoznávání emocí, rozpoznávání výrazu tváře, 3D rekonstrukce tváře

Language used: Czech

Date on which the thesis was submitted / produced: 14. 11. 2013

Accessible from:: 31. 12. 2999

Thesis defence

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics