Multimodal Landmark Detection for Anthropology

RNDr. Zuzana Ferková

Doctoral thesis

Abstract:

Antropometrické body ľudskej tváre sú body využívané na popis morfológie tváre. Používajú sa v rozpoznávaní emócií, animáciách tváre, na odhad veku a pohlavia, alebo pre vytváranie karikatúr a výmene tvárí. Aj napriek tomu, že je identifikácia a verifikácia tváre jednou z najviac prominentných príkladov využívanie antropometrických bodov, tieto body boli pôvodne používané hlavne v antropológii. Antropológia, konkrétne biologická antropológia, využíva antropometrické body ako jednu zo základných pomôcok pre mnoho metód. Aj napriek tomu existuje veľmi málo moderných nástrojov na vyhľadávanie antropometrických bodov sústrediacich sa na využitie v antropoogii. Experti používajú tieto body na vytváranie priemerných tvárí, analýzu rozdielov medzi skúmanými tvárami, štúdiu inter- a intra-populačnej variácie a mnoho ďalších. Avšak kvôli nedostupnosti odskúšaných automatických algoritmov na vyhľadávanie antropometrických bodov, mnoho expertov lokalizuje body ručne. Kým 2D obraz je stále primárny zdroj informácií, biologická antropológia začína postupne využívať aj 3D polygonálne modely, ktoré obsahujú 2D textúry. Momentálne však existuje len relatívne malé množstvo prístupov, ktoré by k detekcii antropometrických bodov používali ako 2D textúru tak 3D model. V dizertácii sa zaoberáme týmto problémom. Text pojednáva o tom, prečo je dôležité vytvoriť automatickú detekciu antropometrických bodov špecificky pre antropoogiu, a prečo nie sú existujúce prístupy postačujúce v biologickej antropológii. Text sa ďalej sústredí na popis nášho prínosu, hlavne tvorbu a využitie „constrained local model“ a konvolučných neurónových sietí. Porovnávame výsledky našich prístupov s dostupnými prístupmi, a ďalej popisujeme možnosti vylepšenia multimodálneho vyhľadávania antropometrických bodov v budúcnosti. Mimo vyhľadávania antropometrichých bodov, tiež spomíname automatické prístupy ktoré sme vytvorili a ktoré využívajú antropometrické body k svojim výpočtom. Na konci textu popisujeme FIDENTIS Analyst, softvér ktorý sme vytvorili pre antropológov a do ktorého sme zapojili všetky vyvinuté prístupy.

Abstract:

Landmarks are points on a human face used to describe the facial morphology. They are used in many different disciplines, for example for a facial and emotion recognition, facial animations, for age and gender estimation, or more commercially for cartoon generation, or face swapping. While facial identification and recognition are often based on landmarks, they are even more important in anthropology. In anthropology, more specifically biological anthropology, landmarks are considered a building block for many methods, however, very few of the current landmark detection algorithms are focused on the application in biological anthropology. They are needed, for example, to create an average face, analyze differences between examined faces, study inter- and intra-population variations and many more. The lack of reliable landmark detection algorithms makes many experts in the field to opt for a manual landmark annotation. While 2D images are still more common, the research in biological anthropology starts to slowly shift towards using the 3D models with corresponding 2D texture for the analysis. Nevertheless, the algorithms exploring the use of both 2D texture and 3D mesh are currently not commonly explored. This dissertation covers why it is necessary to create algorithms tailored for anthropology, and why current state-of-the-art algorithms do not provide precise enough results. The bulk of the text describes our own contribution, mainly constrained local model-based and convolution neural network-based approaches we developed during our research. The work also shows comparisons between current state-of-the-art algorithms. We make a case for the use of multimodal approaches and we show possibilities for further research in the multimodal landmark detection for anthropology. Lastly, we mention the approaches we developed, that make use of facial landmarks, namely, 3D composite generation, and 3D facial reconstruction from a single frontal 2D image. We also describe FIDENTIS Analyst, a software we created for use in anthropology, which incorporates all the approaches we created.

Keywords

multimodal landmark detection, landmarks, anthropology, computer vision, mesh processing, texture analysis

Language used: English

Date on which the thesis was submitted / produced: 19. 10. 2020

Thesis defence

• Date of defence: 1. 3. 2021
• Supervisor: doc. RNDr. Petr Matula, Ph.D.
• Reader: prof. Dr. Ing. Ivana Kolingerová, PhD Federico Sukno

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Fundamentals of Computer Science