Sledování pohybu objektu ve 3D pomocí hloubkového snímače

Bc. Filip BERKA

Master's thesis

Movement tracking of an object in 3D using depth sensor

Abstract:

Tato práce se zabývá sledováním ruky v hloubkových obrazech. V teoretické části je nejprve popsán použitý senzor Kinect v2. Dále práce popisuje algoritmy počítačového vidění a strojového učení, které byly použity v části praktické. Praktická část popisuje postup při řešení úlohy a shrnuje dosažené výsledky. Úloha byla řešena metodou klasifikace pixelů hloubkových obrazů do tříd ruky a pozadí náhodným rozhodovacím lesem. Postup při řešení spočíval ve vytvoření trénovací množiny hloubkových obrazů a označení pixelů, které byly součástí ruky. Toto označení pak sloužilo jako informace učitele. Analýzou změny hloubky v okolí takto označených pixelů byly vytvořeny příznakové vektory. Ty byly dále použity k trénování klasifikátorů. Pro nejsložitější uvažované nastavení klasifikátoru bylo na testovací množině dosaženo téměř 90 % F1-score. Klasifikátory byly též aplikovány na hloubkové obrazy plynoucí z Kinectu v reálném čase.

Abstract:

This thesis concerns with hand tracking in depth images. In the theoretical part at first there is a description of Kinect v2 sensor which was used to acquire the depth images. Then it describes algorithms of computer vision and machine learning which were used in the practical part. The practical part of the thesis describes solution of the problem and summarizes achieved results. The problem was solved by classification of depth image pixels into the hand class and the background class using Random Decision Forest. The solution is based on creation of a dataset of depth images and labeling of pixels which were part of the hand. This labeling was used as the teacher information. Analysing the change in depth in the neighbourhoods of labeled pixels the feature vectors were created. They were then used to train the classifiers. For the most complicated considered settings of the classifier nearly 90 % F1-score was reached on the test set. The classifiers were also used on the depth images streaming from Kinect in real-time.

Keywords

Kinect, OpenCV, Sledování ruky, Počítačové vidění, Klasifikace, Náhodhný rozhodovací les

Language used: Czech

Date on which the thesis was submitted / produced: 13. 5. 2016

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Marek Hrúz, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Master programme / field:
Computer Science and Engineering / Control and Decision-Making Systems