Mapping 2D Skeleton Sequences from Speed Climbing Videos onto a Virtual Reference Wall

Bc. Jan Pokorný

Diplomová práce

Anotace:

Lezení na rychlost je olympijský sport s rostoucím zájmem o automatickou analýzu výkonů. Navrhujeme, implementujeme a evaluujeme proces pro výpočet transformací videí lezení na rychlost na referenční zeď. Nejdříve je natrénován object detection model pro úkol detekce chytů. Dále jsou tyto detekce sledovány pomocí optických toků, a asociovány k referenční zdi pomocí algoritmu Coherent Point Drift. Nakonec je získána sekvence absolutních transformací, která je poté vyčištěna a vyhlazena. Je vykonána substituční studie, evaluující volby algoritmů v každé části procesu. Výstupní sekvence transformací je kompatibilní s jakoukoliv 2D reprezentací kostry, a umožňuje mapovat odhadnutou pózu do souřadnic referenční zdi. Tento proces je důležitým krokem pro analýzu výkonů v lezení na rychlost bez specializovaného vybavení.

Abstract:

Speed climbing is an Olympic sport with a growing interest in automatic performance analysis. We design, implement and evaluate a pipeline to compute transformations of speed climbing videos to a reference wall. First, an object detection model is fine-tuned for the task of hold detection. Next, the detections are tracked using optical flow and associated to the reference wall using Coherent Point Drift. Finally, a sequence of absolute transformations is computed, cleaned, and smoothed. A substitution study is performed, evaluating multiple algorithm choices in each step of the pipeline. The resulting transformation sequence is compatible with any 2D skeleton representation, mapping the estimated pose to reference wall coordinates. The output is an essential step in analyzing speed climbing performances without specialized equipment.

Keywords

speed climbing, pose estimation, object detection, perspective correction, machine learning, deep learing, computer vision, motion data

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 18. 5. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 25. 6. 2021
• Vedoucí: RNDr. Petr Eliáš, Ph.D.
• Oponent: RNDr. Petra Budíková, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Počítačové systémy, komunikace a bezpečnost / Softwarové systémy