RGB-D camera for hand gesture recognition

Bc. Filip Pavlovič

Bakalářská práce

Anotace:

Táto bakalárska práca skúma účinnosť hĺbkovej kamery Luxonis OAK-D Pro W PoE pri rozpoznávaní gest ruky (HGR), so zameraním na pochopenie vplyvu hĺbkových informácií v porovnaní so štandardným RGB vstupom. Boli implementované a vyhodnotené dva prístupy k rozpoznávaniu: postup založený na tradičných metódach spracovania obrazu, presnejšie na analýze obrysov, a postup založený na konvolučných neurónových sieťach (CNN) trénovaných na údajoch RGB. Cieľom štúdie bolo identifikovať výhody a výzvy spojené so zapojením hĺbkových údajov do nízkoúrovňových, interpretovateľných systémov a moderných, dátovo riadených modelov. Experimenty ukázali, že hĺbkové informácie zlepšujú spoľahlivosť segmentácie, najmä pri náročných svetelných podmienkach alebo v zložitom pozadí. Tradičné metódy profitovali z lepšieho oddeľovania pozadia, zatiaľ čo CNN modely efektívne využívali hardvér, ktorý kamera ponúka. Napriek tomu boli zaznamenané určité obmedzenia, najmä pri spracovaní zaoblených alebo zakrytých tvarov prstov, čo môže viesť k nezrovnalostiam v hĺbkovej mape. Výsledky podporujú záver, že kamera OAK-D Pro W PoE prináša významné zlepšenia pre systémy rozpoznávania gest a poukazujú na hĺbkové snímanie ako na hodnotné rozšírenie pre systémy interakcie človeka s počítačom v reálnom čase.

Abstract:

This thesis investigates the effectiveness of the Luxonis OAK-D Pro W PoE depth-sensing camera for hand gesture recognition (HGR), with a focus on understanding the impact of depth information compared to standard RGB input. Two recognition approaches were implemented and evaluated: a traditional computer vision pipeline using contour-based analysis, and a convolutional neural network (CNN) model trained on RGB data. The study aimed to isolate the benefits and challenges of incorporating depth data in both low-level, interpretable systems and modern, data-driven models. Experiments showed that depth information improves segmentation reliability, particularly in difficult lighting or complex backgrounds. Traditional methods benefited from enhanced background subtraction, while CNNs made great use of the hardware provided by the camera. However, limitations were noted, especially in the handling of round and occluded finger shapes, which can lead to disparity inconsistencies. The results support the conclusion that the OAK-D Pro W PoE provides meaningful improvements to gesture recognition systems and highlights depth sensing as a valuable enhancement for real-time human-computer interaction.

Keywords

Hand gesture recognition, RGB-D Camera, Pixel disparity matching, Conventional active stereo vision, Depth accuracy, Computer vision, Convolutional network, Segmentation, Skin colour, Lighting conditions, Rozoznávanie gest rúk, Farebná kamera s hĺbkovou informáciou, Porovnávanie vzdialenosti pixelov, Klasické aktívne stereo videnie, Presnosť hĺbky, Počítačové videnie, Konvolučné siete, Segmentácia, Sfarbenie pleti, Svetelné podmkienky

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2025
• Vedoucí: doc. RNDr. Zdeněk Matěj, Ph.D.
• Oponent: Michal Dvořák

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Programování a vývoj aplikací / Programování a vývoj aplikací