Využití pohybového snímače Kinect ve virtuální realitě

Bc. Michal Vinkler

Master's thesis

Usage of Kinect Motion Sensor in Virtual Reality

Abstract:

Pohybový senzor Microsoft Kinect pro Xbox 360 je zcela novým prvkem na poli přirozené interakce člověka s počítačem. Za pomoci různých typů senzorů dokáže zaznamenávat obraz, zvuk a vzdálenost jednotlivých objektů ve scéně a na základě těchto informací je schopen detekovat pohyby, identifikovat postavy a jejich obličeje, rozpoznat hlasové příkazy a gesta. Hlavním účelem této práce je prakticky ověřit možnosti spojení prostředků virtuální reality (stereoskopická projekce, snímání pohybu) se zvoleným grafickým a fyzikálním enginem (Java Monkey Engine společně s jBullet). Pro interakci uživatele s ukázkovou aplikací bylo zvoleno právě zařízení Kinect. Úvodní část práce se věnuje popisu senzoru, jeho hardwarovému návrhu a možným způsobům využití. Navazuje kapitola shrnující poznatky získané studiem použitých technologií. Ty jsou následně prakticky využity v části pojednávající o implementaci vybraných prostředků virtuální reality do Java Monkey enginu. V závěru jsou shrnuty dosažené výsledky a navržena možná rozšíření. Součástí práce je rovněž ukázková aplikace – pohybová hra, která demonstruje spojení daných technologií v praxi.

Abstract:

The Microsoft Kinect motion sensor represents a completely new approach in the field of human-computer natural interaction. Using various sensors it records image, sound and computes distance for every object in the scene. Based on the processed data, Kinect detects movements, identifies faces and recognizes speech and gestures of users, allowing them to play games using only their own bodies as controls. The aim of this thesis was to verify the possibility of using main virtual reality aspects (stereoscopic projection, motion capture) together with chosen graphics and physics engine (Java Monkey Engine, jBullet). The Kinect device was used for interaction with the demonstration application. The opening part of the thesis is dedicated to the motion sensor. The main section focuses on describing the used technologies as well as pointing out the important implementation details. There is a conclusion with possible improvements suggested in the end. One of the main goals was also to create a demonstration application, which would merge the selected technologies in practice.

Keywords

virtuální realita, virtual reality, VR, snímání pohybu, motion capture, pohybový senzor, motion sensor, Kinect, Java Monkey Engine, jME, jBullet, stereoskopická projekce, stereoscopic projection

Language used: Czech

Date on which the thesis was submitted / produced: 28. 5. 2012

Thesis defence

• Date of defence: 29. 6. 2012
• Supervisor: Mgr. Jiří Chmelík, Ph.D.
• Reader: prof. Ing. Jiří Sochor, CSc.

Masaryk University

Faculty of Informatics

Master programme / field:
Applied Informatics / Applied Informatics