Augmented Reality Deformable Tracking

Michal Jankovič

Bakalářská práce

Anotace:

Rozšírená realita je technológia, ktorá zlepšuje uživateľskú interakciu v reálnom prostredí pridaním virtuálnej informácie. Požiadavok pre rozšírenú realitu je schopnosť rozpoznať a sledovať objekty v prostredí. Sledovanie deformovateľných telies je obzvlášť náročné z dôvodu ich zložitého stavového priestoru. V mojej práci implementujem algoritmus pre deformovateľné sledovanie od Schulman et. al. za použitia hĺbkovej kamery pre sledovanie nad 3D pozorovaniami. Použil som hĺbkové kamery RealSense D415 a Kinect V2, a algoritmus som rozšíril a vylepšil viacerými spôsobmi, vrátanie vytvorenie vysoko paralelnej CUDA implementácie pre GPU, ktorá dovoľuje sledovať menšie detialy. Implementoval som vizualizáciu stavu algoritmu cez rozšírenú realitu v OpenGL, a nakoniec som vytvoril návod na skladanie origami v rozšírenej realite, fungujúci nad implementovaným modelom deformovateľného sledovania.

Abstract:

Augmented reality (AR) is a technology enhancing user interactions in the real environment by super-imposing virtual information. A requirement for augmented reality is the ability to recognize and track objects in the environment. Tracking deformable objects is especially difficult due to their complex state space. In my thesis, I implemented the deformable tracking algorithm by Schulman et. al. utilizing a depth camera to perform tracking on 3D observations. I made use of the Intel RealSense D415 and Kinect V2 depth cameras, and extended and enhanced the algorithm in various ways, including the creation of a CUDA implementation that runs parallelized on the GPU, and allows tracking much finer details. I implemented an AR visualization of the algorithm's state in OpenGL, and finally I created an AR origami guide powered by the deformable tracking model.

Keywords

augmented reality, rozšírená realita, deformable tracking, deformovateľné sledovanie, physics-based tracking, sledovanie objektov cez fyzikálnu simuláciu, depth camera, hĺbková kamera, point clouds, bodové oblaky, Intel RealSense, Kinect, C++, CUDA, OpenGL

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 12. 1. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 16. 2. 2021
• Vedoucí: doc. RNDr. Pavel Matula, Ph.D.
• Oponent: RNDr. Jan Čejka

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika