Action Recognition, Annotation, and Searching in Motion Data

RNDr. Petr Eliáš

Doctoral thesis

Abstract:

Digitální zaznamenávání lidského pohybu v čase a prostoru se v posledních letech stalo více a více populární, a to i kvůli cenové dostupnosti levných zaznamenávacích senzorů a zařízení, jako je například Microsoft Kinect. V dnešní době tak vzniká velké množství dat v celé řadě odvětví, ať už je to zábavní průmysl, sport nebo medicína. Automatizované počítačové zpracování těchto dat jedním ze současných výzkumných témat, což je dáno inherentní složitostí a variabilitou těchto dat. Libovolný pohyb totiž může být vykonán různými subjekty v různém provedení, a to různě rychle, různým stylem, anebo v různé vzdálenosti nebo natočení vůči kameře. Lidské pohyby jsou ukládány ve formě vícedimenzionálních časoprostorových řad, které jsou objemné, náročné na zpracování a mohou obsahovat nepřesná či neúplná data. Jediná hodina zaznamenávání pohybu může zabírat až stovky megabytů diskového prostoru. Aplikování standardních metod pro počítačové zpracování dat jako je rozpoznávání (klasifikace) akci, anotování (detekce) akcí a vyhledávání sub-sekvencí v těchto datech značně zvyšuje jejich použitelnost, dohledatelnost a cenu. Tato práce popisuje nové automatizované počítačové metody pro efektivní vykonávání operací rozpoznávání akcí, detekci akcí a vyhledávání v sub-sekvencích pohybových dat. Navržené metody jsou založeny na kombinaci strojového učení (LSTM a CNN sítě) a tradičních metod (časové okno, k-NN vyhledávání, indexační techniky). Navržené metody jsou srovnány se současnými trendy ve výzkumu v oblasti strojového učení a vyhledávání ve velkých datech, a je demonstrována jejich efektivita a vhodnost pro zpracování velkých množství pohybových dat v reálném čase.

Abstract:

Motion capturing devices have recently become widely available, which resulted in producing large volumes of 3D human motion data in a variety of application domains, ranging from entertainment to medicine. However, automatized processing and understanding of human motions is still a challenging problem due to the inherent spatio-temporal nature and motion variability. The same actions can be performed by different subjects in several alternatives that vary in speed, style, timing, or position in the captured space. Moreover, the captured multi-dimensional time series are voluminous and imprecise. Hundreds of megabytes are obtained within one hour of motion tracking, and tracking errors, occlusions, and noise are often present. The employment of standard data-processing paradigms of recognition, annotation, and search is essential to increase the overall data reusability, findability, and value. In this work, computer-aided solutions for effective and efficient operations of action recognition, subsequence searching, and action detection are proposed and compared with state-of-the-art related work. Combination of learning-based (i.e., deep features, LSTM networks) and retrieval-based (sliding window temporal segmentation, indexing) methods are combined synergically. The ability of these approaches to perform in real-time and on a large scale is demonstrated.

Keywords

mocap, human motion data, skeleton sequences, similarity measure, action recognition, motion segmentation, event detection, stream annotation, subsequence searching

Language used: English

Date on which the thesis was submitted / produced: 18. 9. 2019

Thesis defence

• Date of defence: 28. 2. 2020
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: prof. RNDr. Jaroslav Pokorný, CSc., Prof. Fakhreddine Ababsa

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics