Difficulty Classification of Moonboard Bouldering Problems

Bc. Eduard Minks

Bachelor's thesis

Abstract:

Cílem této práce je aplikovat existující přístupy hlubokého učení na úkol klasifikace stupně obtížnosti boulderingových problémů postavených na standardizované lezecké stěně MoonBoard. Pro klasifikaci obtížnosti jednotlivých cest jsou použity čtyři různé datové modality i) videa lezce, který leze daný problém ii) sekvence koster extrahovaná z oněch videí iii) podrobné, člověkem čitelné topografické obrázky se zvýrazněnými chyty (topa) iv) komprimovaná maticová reprezentace top. V experimentech byly použity různorodé architektury hlubokých neuronových sítí zaměřující se na vybrané modality. K vyhodnocení videí byla použita X3D hluboká konvoluční síť, k sekvenci koster rekurentní obousměrná LSTM síť a k topo-obrázkům ResNet. Přínosem práce je náhled, zda subjektivní úkol ohodnocení obtížnosti je potenciálně řešitelný strojem a popřípadě zjištění, jaké modality jsou pro to vhodné. Dalším přínosem je vytvoření 5 datasetů, které byly v rámci této práce posbírány a následně zvěřejněny. Práce přinesla uspokojivé výsledky z hlediska přesnosti (86,18 %) s použitím topo-obrazů a s použitím sekvencí koster (72,22 %). Ašak výsledky experimentů, používající sekvence koster byly nestabilní, což je podloženo nedostatkem tréninkových dat a také tím, že úkol je obtížný i pro člověka. I přes nestabilitu tyto experimenty dosahovaly lepších výsledku než náhodné hádání, což však nebyl případ přístupu používajícího videa, který se ukázal být nejhůře fungující.

Abstract:

This work aims to apply existing approaches of deep learning to the task of the difficulty grade assignment to the bouldering problems set on a standardized MoonBoard wall. Four distinct modalities are used to classify the grade of bouldering problems: i) videos of climber climbing the problem, ii) skeleton sequences extracted from such videos, iii) detailed human-readable topographical images with highlighted holds (topos), and iv) compressed matrix-like representations of topos. Various deep neural network architectures are used to process these modalities. X3D deep convolutional network is used for videos, recurrent bi-directional LSTM network for skeleton sequences, and ResNet for topo-image classification. The contributions of this work are insights into whether a subjective task of difficulty assignment has any potential to be solved by a machine and a comparison of what modalities are more suitable for this task. Last but not least, as an effort to evaluate the grade assignment problem, five datasets have been manually collected and made publicly available to the academic community. The work delivers satisfying results in terms of accuracy (86.18\%) using the topo-images and skeleton sequences (72.22\%). However, the results of the skeleton approach were not stable during the evaluation, which is underpinned by the difficulty of the task that is often non-obvious even for humans and also by the lack of training data. Nevertheless, the skeletons generally performed better than random guessing, which was not the case with the video-based approach, which turned out to be the worst performing.

Keywords

MoonBoard, bouldering, bouldering grading system, deep learning, human pose estimation, image classification, labelled dataset, skeleton-based action recognition, video classification

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2022

Thesis defence

• Date of defence: 1. 2. 2023
• Supervisor: RNDr. Petr Eliáš, Ph.D.
• Reader: RNDr. Jakub Peschel

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics