Advancing Motion Words for Human Motion Classification

Bc. David Procházka

Master's thesis

Abstract:

Práce rozvíjí techniku na reprezentaci krátkých pohybů pomocí tzv. pohybových výrazů, angl. motion words. Prezentujeme novou kvantizační techniku kompozitních pohybových výrazů (composite motion words) založenou na rozdělení kostry na nepřekrývající se části. Problémy neefektivního indexování sekvencí pohybových výrazů a opakování akcí jsou řešeny využitím editační vzdálenosti a její adaptace. Tato vylepšení dosahují přesnosti klasifikace 81,75 % při vyhodnocení na datové sadě HDM05. Na základě výsledku klasifikace akcí navrhujeme dvoufázový klasifikační proces, který doplňuje globální klasifikátor o specializované klasifikátory. Specializace spočívá ve dvou klasifikačních metodách snižující počet chybných klasifikací, ke kterým dochází na globální úrovni. První metoda identifikuje části těla, na základě kterých lépe rozliší mezi kategoriemi. Druhá metoda nalezne část pohybu, který je nejvýznamnější, a porovnává akce na základě okolí těchto extrémů. Naše řešení dosahuje přesnosti 90,02 % při vyhodnocení na redukované sadě HDM05. Pro datovou sadu PKU-MMD dále rozšiřujeme kompozitní výrazy o relační (joint relations), které lépe zachycují vzájemné interakce množiny kloubů.

Abstract:

The thesis improves the technique for representing short motions called motion words. We present a new quantization technique called composite motion word by dividing the skeleton into non-overlapping body parts. The problems of inefficient indexing of motion word sequences and action repetitions are addressed by employing edit distance and its adaptation. These advancements achieve a classification accuracy of 81.75% evaluated on the HDM05 dataset. Based on the outcome of the action classification task, we design a two-stage classification framework that supplements the global classifier with specialized classifiers. The specialization employs two strategies intended to mitigate misclassifications that occur at the global level. The first method learns body parts based on which we can better discriminate between categories. The second method finds the most significant moment in the motion and compares the actions based on the neighborhood around the extrema. Our solution achieves an accuracy of 90.02% evaluated on the modified HDM05 dataset. Finally, for the PKU-MMD dataset, we introduce an extension of the composite motion word called joint relation, which models the mutual interaction between a set of joints.

Keywords

motion capture, MoCap, human motion data, motion words, action classification, body parts

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 19. 6. 2023
• Supervisor: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Reader: doc. RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Software systems