Rekonstrukce pózy lidské ruky z hloubkového obrazu

Bc. Milan HERBIG

Diplomová práce

Depth-based hand pose estimation

Anotace:

Téma práce je zaměřeno na aplikaci state-of-the-art konvolučních neuronových sítí za účelem rekonstrukce pózy lidské ruky z hloubkových dat pořízených kamerou Microsoft Kinect v2. V práci se věnuji současným metodám a přístupům k rekonstrukci pózy, problémům spojeným s trénováním neuronových sítí, tvorbě trénovacích dat, jejich normalizaci a konečně návrhu samotné architektury neuronové sítě pro účely regrese pózy lidské ruky. V závěru diskutuji dosažené výsledky. Výstupem práce je jednak navržená architektura konvoluční neuronové sítě a jednak natrénovaný model. Zároveň jsem vytvořil modul pro snímání a segmentaci hloubkových dat z kamery včetně modulu pro vizualizaci výsledků rekonstrukce. Celý systém běží v reálném čase s využitím výpočtů na grafické kartě.

Abstract:

This thesis explores possibilities and contributions of state-of-the-art convolutional neural networks to hand pose estimation problem. Hand pose is estimated from depth images recorded by Microsoft Kinect v2 depth camera. Current hand estimation methods and neural networks in general are discussed. The focus is set on problems during neural network training, data creation and normalization. Whole chapter is devoted to regression convolution neural network model design. Finally, observed results are discussed in the last chapter. This work produces both proposed and trained neural network model. Also, for real-word testing and demonstration purposes, both segmentation and visualization modules were developed. It is worth noting that whole pipeline runs in real time on GPU.

Klíčová slova

regrese, odhad parametrů, rekonstrukce pózy, 3D model, strojové učení, konvoluční neuronová síť

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 12. 5. 2016

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Zdeněk Krňoul, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Magisterský studijní program / obor:
Inženýrská informatika / Řídicí a rozhodovací systémy