Vyhledávání aktivit lidského pohybu napříč různými datovými množinami

Bc. Vojtěch Peschel

Bachelor's thesis

Cross-Dataset Activity Search in Human Motion Data

Abstract:

Analýza digitalizovaného lidského pohybu ve formě trajektorií důležitých bodů lidského těla začíná mít obrovský aplikační potenciál v mnoha oblastech, jelikož taková časoprostorová data lze extrahovat už i z běžného videa. Aktuální výzkum v oblasti analýzy lidského pohybu se zaměřuje především na zpracování doménově specifických dat nebo dat pocházejících z jednoho zdroje. Cílem této práce je navrhnout vyhledávací přístup pro identifikaci nejpodobnějších pohybových aktivit pocházejících z různých datových množin. V rámci tohoto cíle bude třeba řešit unifikaci pohybových dat z různých zdrojů (tzn. různé frekvence záznamů, modely lidského těla, prostorové jednotky nebo kategorie pohybů), normalizaci dat (tzn. normalizace prostorové polohy, orientace a velikosti těla), metrické učení (pomocí zvoleného konceptu neuronové sítě) a vyhledávací scénáře (tzn. definice trénovacích a testovacích množin pro vyhledávání přes různé datové množiny nebo různé kategorie pohybů). Navržené aplikační scénáře budou vyhodnoceny v kontextu tří datových množin: HDM05, PKU-MMD a NTU RGB+D.

Abstract:

The analysis of digitized human movement in the form of trajectories of important points of the human body is beginning to have a huge application potential in many areas, since such spatiotemporal data can be extracted even from ordinary video. Current research in the field of human movement is mainly aimed at processing domain-specific data or data from a single source. The goal of this work is to propose a search approach for identifying the most similar movement activities originating from different datasets. Within this goal, the unification of movement data from different sources (i.e. different recording frequencies, models of the human body, spatial units or movement categories), data normalization (i.e. normalization of spatial position, orientation and body size), metric learning (using of the selected neural network concept) and search scenarios (i.e. definition of training and test sets for searching over different data sets or different movement categories). The proposed application scenarios will be evaluated in the context of three datasets: HDM05, PKU-MMD and NTU RGB+D.

Keywords

3D pohybová data, LSTM síť, Klasifikace dat, Normalizace, Algoritmus nejbližších sousedů, Podobnostní model, Podobnostní vyhledávání

Language used: Czech

Date on which the thesis was submitted / produced: 18. 5. 2023

Thesis defence

• Date of defence: 29. 6. 2023
• Supervisor: doc. RNDr. Jan Sedmidubský, Ph.D.
• Reader: doc. RNDr. Vlastislav Dohnal, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics