Similarity Models for Human Motion Data

RNDr. Jakub Valčík

Doctoral thesis

Anotácia:

Motion Capture (MoCap) data představují digitalizovaný lidský pohyb formou proudu dat 3D póz - konfigurací lidské kostry. Nahrávání pohybových aktivit, díky stále dostupnějším a vyspělejším senzorovým technologiím, přitahuje pozornost k novým technikám efektivního ukládání, zpracování (klasifikace a analýza) a vyhledávání MoCap dat. Tato práce se zaměřuje na studium MoCap dat za účelem návrhu nových podobnostních modelů pro klasifikaci a vyhledávání. Podobnostní model vytváří abstraktní vrstvu nad MoCap daty ve formě extrahovaných pohybových charakteristik spolu s distanční metrikou pro vzájemné porovnání z pohledu podobnosti pohybů. Navrhujeme dva rozdílné podobnostní modely pro dvě typické aplikace: (1) model pro porovnání stylů chůze s důrazem na jedinečnost vzorů chůze jednotlivců a (2) model pro porovnání podobně provedených akcí pro obecné vyhledávání pohybů. První model porovnává časové řady euklidovských vzdáleností 3D souřadnic jednotlivých kloubů extrahovaných z jednoho dvojkroku pro zachycení jak statických tak dynamických vlastností chůze osoby. Druhý model využívá charakteristik založených na úhlech rotací kloubů zaměřující se na dynamiku provedení pohybů a potlačení vlivu morfologie lidské kostry na provedenou akci. Experimentální ověření funkčnosti obou modelů je demonstrováno na aplikacích pro identifikaci člověka z chůze a vyhledávání pohybů. Aplikace pro identifikaci člověka z chůze založené na prvním zmíněném modelu využívá naši metodu pro detekci a normalizaci dvojkroku člověka. Druhá aplikace dokáže v rozsáhlé databázi vyhledávat pohybové segmenty podobné libovolným pohybovým dotazům. Možnost škálování takovéto aplikace je důležitá, proto jsme navrhli indexovací techniku na míru zpracovávání dotazů smysluplné, ale variabilní délky beroucí v potaz i pohyby provedené různou rychlostí (t. j. pohybové sekvence o různé délce). Dále, abychom byli schopni ověřit zkonstruované podobnostní modely nebo vybrat vhodnější model pro daný účel, navrhli jsme framework pro systematické ohodnocení pohybových modelů člověka v kontextu aplikace. Tento framework je založen na evaluaci podobnostní funkce pro pózu spolu s funkcí pro časové zarovnání různě dlouhých sekvencí a vyhodnocuje výsledky ze tří perspektiv: (1) prostorové uspořádání metrického prostoru, (2) vyhledání informace (3) výkonost. Funkce vzdálenosti a časového zarovnání mohou být měněny a zároveň různé účely aplikace simulovány dodanými trénovacími daty. To nám umožňuje posoudit rozličné podobnostní modely podle zmíněných metrik ve specifickém kontextu aplikace. Dosažené výsledky podporují naše přesvědčení o neexistenci "všemocného" podobnostního modelu pro porovnání pohybů člověka, který by byl vhodný pro všechny druhy aplikací.

Abstract:

Motion Capture (MoCap) data represent digitized human motion in the form of stream of 3D human skeleton configurations (poses). Capturing human movement activities through more and more available sensor technologies draws an attention towards new techniques for efficient and effective MoCap data storing, processing (e.g., classification and analysis) and retrieval. This work aims to study MoCap data to propose new similarity models for retrieval and classification purposes. The similarity model creates an abstraction over MoCap data in the form of extracted motion features along with a distance measure for pairwise comparison from the motion similarity perspective. We propose two different similarity models for two typical applications: (1) Model for walking manners comparison with emphasis on the unique walking patterns of individuals and (2) Model for matching similar performances of actions for general motion retrieval. The first model compares time-series of Euclidean distances among 3D coordinates of particular joints extracted from one walk cycle to capture both static and dynamic properties of a walking person. The second model utilizes features based on joint angle rotations to focus on action dynamics and to suppress influence of a human morphology on the outcome. Both models are experimentally evaluated on applications for Gait Recognition and Motion Retrieval, respectively. The gait recognition application employing the first model identifies a person from the style of walk and uses our method for walk cycle detection and normalization. The motion retrieval application integrating the second model is able to search for a similar motion segment to an arbitrary motion query within a large dataset of motions. Scalability of this retrieval application is important; thus, we propose a novel indexing technique tailored for processing queries of a reasonable but variable length, considering even motions performed in different speed (i.e., of different length). To further verify the similarity models or to select more appropriate ones for a given application we propose a framework for a systematic assessment of human motion models in conjunction with a target application. This framework is based on the evaluation of pose similarity functions along with time-alignment functions and assesses the results from three perspectives of (1) space-complexity, (2) information-retrieval, and (3) performance. The distance and time-alignment functions can be substituted and the application purpose is simulated by provided training data. This allows us to judge various similarity models according to the mentioned measures in the context of the specific application. The results support our believe that there is no ultimate all-solving similarity model for human motion comparison which suits for any kind of application.

Keywords

Motion capture data, MoCap, Similarity search, Gait recognition, Motion retrieval, Human motion model, Walk cycle detection, Similarity model assessment

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 2. 5. 2016

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 7. 2016
• Vedúci: prof. Ing. Pavel Zezula, CSc.
• Oponent: doc. RNDr. Tomáš Skopal, Ph.D., Assoc. Prof. Stéphane Marchand-Maillet

Masaryk University

Faculty of Informatics

Doctoral programme / odbor:
Informatics (4-years) / Informatics