Action Detection in 3D Skeleton Data using LSTM Networks

Mgr. Róbert Kolcún

Master's thesis

Abstract:

Detekcia akcie je v súčasnosti jedným z najzaujímavejších problémov na vyriešenie v oblasti počítačového videnia pre dáta ľuského pohybu. Ľudský pohyb možno reprezentovať ako sekvencia štruktúrovaných kostier, ktoré obsahujú informácie o 3D pozíciách dôležitých telesných kĺbov v čase. Pomocou kolekcie krátkych 3D kostrových ľudských akcií sa táto práca zameriava na vyhodnotenie vhodnosti modelov neurónových sietí založených na princípe LSTM pre detekciu akcií a rozpoznávanie akcií. Pre úlohu rozpoznávania akcií sa trénuje a vyhodnocuje klasifikačný model založený na princíme LSTM na krátkych ľudských akciách. Na druhej strane, pre úlohu detekcie akcie je cieľom modelu efektívne identifikovať začiatok a koniec ľudských akcií v rámci dlhej sekvencie ľudského pohybu. Tieto modely sú natrénované a vyhodnocované na dátovom súbore PKU-MMD, ktorý poskytuje kolekciu krátkych ľudských akcií a dlhých 3D kostrových sekvencií v dvoch hodnotiacich scenároch, a to cross-view a cross-subject.

Abstract:

Action detection is nowadays one of the most exciting problems to be solved in computer vision for human motion data. Human motion can be represented as a sequence of structured skeletons that hold information about 3D positions of important body joints in time. By using a collection of short 3D skeleton human actions, this thesis aims to evaluate the suitability of LSTM-based neural network models for action detection and action recognition tasks. For the action recognition task, a classification LSTM-based model is trained and evaluated on short human actions. On the other hand, for the action detection task, the model's goal is to effectively identify the beginning and the end of human actions within a long human motion sequence. These models are trained and evaluated on the PKU-MMD dataset, which provides a collection of short human actions and long 3D skeleton sequences in two evaluation scenarios, namely cross-subject and cross-view.

Keywords

human motion data, action detection, action recognition, LSTM neural network, 3D skeleton data

Language used: English

Date on which the thesis was submitted / produced: 14. 12. 2021

Thesis defence

• Date of defence: 1. 2. 2022
• Supervisor: doc. RNDr. Jan Sedmidubský, Ph.D.
• Reader: RNDr. Petr Eliáš, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence