Multimodal Landmark Detection for Anthropology

Mgr. Zuzana Ferková

Advanced ('rigorózní') thesis

Abstract:

Antropometrické body sú body na ľudskej tvári, ktoré sú využívané v mnohých disciplínach. Používajú sa na rozpoznávanie emócií, animáciu tvárí, na odhad veku a pohlavia. Majú taktiež viac komerčné využitie, kde sa používajú na vytváranie karikatúr, alebo výmenu tvári medzi viacerými osobami. Aj napriek tomu, že identifikácia a rozpoznávanie tvárí stále ostávajú jedným z najviac prominentných využití antropometrických bodov, tieto body boli po prvý krát použité v antropológii. V antropológii, konkrétnejšie v biologickej antropológii, sú antropometrické body považované za základný kameň pre mnohé metódy výskumu, aj napriek tomu, že existuje veľmi málo automatických prístupov detekcie antropometrických bodov, ktoré by boli zamerané na použitie v biologickej antropológii. Používajú sa, napríklad, na tvorbu priemernej tváre, analýzu tvárí, alebo štúdium odlišností jednotlivcov v rámci danej populácie, alebo medzi jednotlivými populáciami. Kvôli nedostatku spoľahlivých algoritmov na detekciu antropometrických bodov, mnoho expertov stále používa manuálne označovanie antropometrických bodov. Používanie 2D obrázu pre výskum v antropológii je stále bežnejšie, aj keď so zvýšenou dostupnosťou 3D skenovacích zariadení sa vo výskume začínajú objavovať aj 3D modely, spolu s korešpondujúcou 2D textúrou. V súčasnosti sú prístupy na detekciu antropometrických bodov na 2D obrazoch obsiahlo študované. Bolo taktiež vytvorených mnoho prístupov pre vyhľadávanie antropometrických bodov pre 3D modely, avšak prístupy využívajúce ako 2D textúru, tak 3D modely neboli zatiaľ študované do hĺbky. Táto práca momentálny stav výskumu pre algoritmy detekcie antropometrických bodov na 2D a 3D dátach, ako aj algoritmy využívajúce kombináciu týchto modalít. Ďalej práca ukazuje prečo je potrebné vytvárať algoritmy na detekciu antropometrických bodov špecificky pre antropológiu, a prečo dostupné algoritmy nie sú postačujúce pre výskum v biologickej antropológii. Taktiež ukazuje porovnanie jednotlivých algoritmov, špecificky vyzdvihujúc potenciál multimodálnych prístupov a načrtá smer budúceho výskumu v oblasti vyhľadávania antropometrických bodov za použitia kombinácie 2D textúr a 3D modelov.

Abstract:

Landmarks are points on the human face used in many different disciplines. They are used for a facial and emotion recognition, facial animations, for age and gender estimation, or more commercially for cartoon generation, or face swapping. While facial identification and recognition stays one of the most prominent applications of the landmarks, the landmarks were first introduced for the use in anthropology. In anthropology, more specifically biological anthropology, landmarks are considered a building block for many methods, despite very few of the current landmark detection algorithms being focused on the application in biological anthropology. They are used, for example, to create an average face, analyze differences between examined faces, study inter- and intra-population variations and many more. However, the lack of reliable landmark detection algorithms still makes many experts in the field to opt for a manual landmark annotation. While 2D images are still more common, with increased accessibility of the stereophotogrammetric scanning devices the research in biological anthropology starts to slowly shift towards using the 3D models with corresponding 2D texture for the analysis. Currently, 2D landmark detection algorithms were extensively studied, with more and more focus shifting towards 3D landmark detection algorithms. Nevertheless, the algorithms exploring the use of both 2D texture and 3D mesh are currently not commonly explored. In this thesis we describe current state-of-the-art for the landmark detection algorithms in 2D, 3D, and multimodal approaches. We further show why it is necessary to create algorithms tailored for anthropology, and why current state-of-the-art algorithms do not provide results precise enough to be used in the research in biological anthropology. The work also shows comparisons between current state-of-the-art algorithms, making a case for use of multimodal approaches, and shows possibilities for further research in the multimodal landmark detection for anthropology.

Keywords

multimodal landmark detection, landmarks, anthropology, computer vision, mesh processing, texture analysis

Language used: English

Date on which the thesis was submitted / produced: 7. 3. 2018

Thesis defence

• Date of defence: 30. 5. 2018
• Reader: prof. Dr. Ing. Ivana Kolingerová, doc. RNDr. Barbora Kozlíková, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Computer Graphics