Gait Recognition from Motion Capture Data

RNDr. Michal Balážia

Doctoral thesis

Abstract:

Táto dizertačná práca ponúka sériu troch podobnostných modelov pre biometrický systém založený na rozpoznávaní ľudí podľa dynamiky chôdze v kontextoch identifikácie a re-identifikácie. Vstup je zbieraný pomocou senzorov Motion Capture, ktoré produkujú štruktúrované pohybové dáta. Osvojujeme si dva hlavné prístupy k reprezentácii ľudskej chôdze: ručné navrhovanie geometrických charakteristík a strojové učenie skrytých charakteristík. Konkrétne, geometrické charakteristiky sú kĺbové uhly a medzikĺbové vzdialenosti, zatiaľ čo skryté charakteristiky sú naučené metódami Maximum Margin Criterion a kombináciou Principal Component Analysis a Linear Discriminant Analysis. Každý z navrhnutých podobnostných modelov definuje konštrukciu vzoru chôdze z rozlišovacích charakteristík, metriku podobnosti týchto vzorov a rozodovací mechanismus pre formulovanie odpovede rozpoznania. V kontexte identifikácie je odpoveďou označenie klasifikovanej identity človeka a v kontexte re-identifikácie to je zhluk ich vzoriek nameraných v rámci monitorovacieho systému. Ako prínos do oblasti reprodukovateľného výskumu zverejňujeme použitý softvérový nástroj a skúšobnú databázu. Vyhodnotenie na časti CMU MoCap databázy, ktoré obsahuje 5 923 vzoriek chôdze od 64 identít ukazuje, že skryté charakteristiky naučené metódou Maximum Margin Criterion rozlišujú lepšie ako akákoľvek kolekcia charakteristík geometrických alebo naučených metódou kombinácie Principal Component Analysis a Linear Discriminant Analysis. Pre ilustráciu, s mierou úspešného rozpoznania 92.5% predčí trinásť ďalších relevantných metód. Výsledky tiež indikujú vysokú univerzalitu naučených charakteristík, čo je nutné pre re-identifikáciu, kde strojové učenie je možné iba na fixných identitách pomocnej databázy. Dokonca iba malá pomocná databáza je postačujúca na naučenie projekcie vstupných dát na dobre separovateľný podpriestor: model naučený na 14 identitách stále rozpozná 40 ďalších s úspešnosťou 90%. Navrhnuté podobnostné modely výrazne posúvajú súčasnú úroveň technológie rozpoznávania ľudí podľa dynamiky chôdze z Motion Capture dát. S použitím dostupnej Motion Capture technológie a algoritmov na určenie póz sú tieto modely spolu s ich poskytnutými implementáciami priamo integrovateľné do biometrických systémov pre dennodenné použitie.

Abstract:

The dissertation offers a series of three similarity models for a gait-assisted biometric recognition system to aid person identification and re-identification. Input is collected from motion capture sensors that provide structural motion data samples. We adopt two major approaches to representation of human gait: hand-crafting geometric features and learning latent features in a statistical manner. In particular, the geometric features are joint angles and inter-joint distances, while the latent features are learned by Maximum Margin Criterion and by a combination of Principal Component Analysis and Linear Discriminant Analysis. Each of the introduced similarity models defines construction of a gait template from discriminative gait features, a measure for similarity of templates, and a decision mechanism for formulating recognition responses. In the identification context, the response is the label of the classified person's identity, while in the re-identification context, it is the cluster of gait samples collected at their incidents within the surveillance system. As a contribution to reproducible research, the evaluation framework and database is made publicly available. Evaluation on the CMU MoCap database of 5,923 samples and 64 identities shows that the latent features of the Maximum Margin Criterion method discriminate better than any collection of geometric features or the features of Principal Component Analysis and Linear Discriminant Analysis. For illustration, its 92.5% correct classification rate outperforms other thirteen relevant methods. Results also indicate a high universality of learned features, which is necessary for re-identification where learning is only available on an auxiliary dataset of fixed identities. Even a small such dataset is sufficient to learn a projection of raw data onto a well separable sub-space: a model learned on 14 identities still classifies 40 others 90% correctly. The introduced similarity models significantly advance the state-of-the-art in gait recognition from motion capture data. Using the available motion capture technology and pose estimation algorithms, the models with provided implementations are directly integrable in gait recognition systems for day-to-day operation.

Keywords

Motion Capture, video surveillance, soft biometrics, gait recognition, feature extraction, statistical pattern recognition, machine learning, Maximum Margin Criterion, identification, re-identification, classification, clustering, trace history, evaluation framework

Language used: English

Date on which the thesis was submitted / produced: 1. 11. 2017

Thesis defence

• Date of defence: 6. 4. 2018
• Supervisor: doc. RNDr. Petr Sojka, Ph.D.
• Reader: prof. Ing. Martin Drahanský, Ph.D., Prof. Arun Ross

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics