Rekonstrukce pózy lidské ruky z hloubkového obrazu

Bc. Milan HERBIG

Master's thesis

Depth-based hand pose estimation

Abstract:

Téma práce je zaměřeno na aplikaci state-of-the-art konvolučních neuronových sítí za účelem rekonstrukce pózy lidské ruky z hloubkových dat pořízených kamerou Microsoft Kinect v2. V práci se věnuji současným metodám a přístupům k rekonstrukci pózy, problémům spojeným s trénováním neuronových sítí, tvorbě trénovacích dat, jejich normalizaci a konečně návrhu samotné architektury neuronové sítě pro účely regrese pózy lidské ruky. V závěru diskutuji dosažené výsledky. Výstupem práce je jednak navržená architektura konvoluční neuronové sítě a jednak natrénovaný model. Zároveň jsem vytvořil modul pro snímání a segmentaci hloubkových dat z kamery včetně modulu pro vizualizaci výsledků rekonstrukce. Celý systém běží v reálném čase s využitím výpočtů na grafické kartě.

Abstract:

This thesis explores possibilities and contributions of state-of-the-art convolutional neural networks to hand pose estimation problem. Hand pose is estimated from depth images recorded by Microsoft Kinect v2 depth camera. Current hand estimation methods and neural networks in general are discussed. The focus is set on problems during neural network training, data creation and normalization. Whole chapter is devoted to regression convolution neural network model design. Finally, observed results are discussed in the last chapter. This work produces both proposed and trained neural network model. Also, for real-word testing and demonstration purposes, both segmentation and visualization modules were developed. It is worth noting that whole pipeline runs in real time on GPU.

Keywords

regrese, odhad parametrů, rekonstrukce pózy, 3D model, strojové učení, konvoluční neuronová síť

Language used: Czech

Date on which the thesis was submitted / produced: 12. 5. 2016

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Zdeněk Krňoul, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Control and Decision-Making Systems