Algorithms and Methods for Haptic Interaction with Deformable Objects

RNDr. Jiří Filipovič, Ph.D.

Doctoral thesis

Abstract:

Počítačová simulace deformovatelných objektů je důležitou oblastí výzkumu, která má široký rozsah aplikací od medicíny po průmysl (např. modelování chování tkání, deformace různých konstrukcí). Interaktivní simulace umožňuje uživateli interagovat s deformovatelným tělesem, aplikovat na něj sílu a vidět jeho deformaci. Pro člověka je přirozené aplikovat sílu na deformovatelné těleso přímo a cítit silovou zpětnou vazbu. To je umožněno počítačovou haptikou, která do interaktivních simulací přináší hmat. Tato práce se zaměřuje na interakci s deformovatelnými tělesy v reálném čase. Používá fyzikálně realistické modelování založené na teorii elasticity, což přináší komplexní a výpočetně náročné modely. Nicméně, v případě použití haptické interakce musí mít simulace rychlé odezvy, takže výpočty v ní prováděné musí být velmi rychlé. Tato práce se skládá ze tří částí, které se zaměřují na dvě související témata. Nejdříve diskutujeme použití techniky předpočítání a interpolace k provedení náročných výpočtů mimo haptickou smyčku. Následně formulujeme obecné metody GPU akcelerace, které jsou použitelné také pro urychlení výpočtů deformací. Nakonec použijeme metody GPU akcelerace k akceleraci výpočtu deformací. V Části I formulujeme metodu on-line předpočítání, která nám umožní předpočítávat deformace v čase interakce. Ukazujeme také, jak použít interpolaci založenou na radiálních bázových funkcích (RBF) v on-line předpočítání, kde se množina deformací použitá k interpolaci mění v čase. Konečně, představujeme také distribuovaný algoritmus, který umožňuje předpočítávat deformace paralelně. Prezentované metody jsou experimentálně ověřeny s použitím našeho prototypu simulátoru -- testujeme omezení metody on-line předpočítávání, stabilitu haptické interakce s RBF interpolací a škálování distribuovaného algoritmu. V Části II jsou navrženy dvě obecně použitelné metody. Formulujeme zde programovací vzor využívající tzv. střednězrnný paralelismus, který umožní efektivně zpracovávat na GPU datové elementy střední velikosti. Představujeme také metody fúze GPU kernelů, která je použitelná pro optimalizaci kernelů omezených propustností paměti, a experimentální kompilátor umožňující fúzovat určité typy GPU kernelů automaticky. Obecná použitelnost našeho kompilátoru je demonstrována na akceleraci sekvencí volání BLAS funkcí, kde jsme naměřili znatelné zrychlení oproti vysoce optimalizované BLAS knihovně. V Části III se naše pozornost obrací opět k výpočtu deformací. Použili jsme středně-zrnný paralelismus a náš kompilátor k akceleraci výpočtů aplikovaných na elementy, která se používá v simulaci deformací, a dosáhli jsme výrazného zrychlení oproti CPU implementaci. Výsledky prezentované v této práci mají významný přínos pro studovaný problém. Umožňují provést předpočítání efektivněji a eliminovat dlouhou předpočítací fázi pro středně komplexní deformace. Navíc jsme ukázali že naše metody GPU akcelerace jsou obecně použitelné a umožňují urychlit tak důležité kódy, jako jsou BLAS funkce.

Abstract:

Computer simulation of deformable objects is important research field, having applications in wide range of areas, from medicine to industry (modeling of tissues behavior, deformation of various constructions etc.). The interactive simulation allows the user to interact with a deformable object, apply forces to it and see its deformation. It is natural for a human to apply the force to the deformable body directly and feel the force response, which is enabled by the computer haptics, bringing the sense of touch to interactive simulations. This thesis focuses on the real-time haptic interaction with deformable bodies. The physically-realistic modeling of deformation based on theory of elasticity is used, yielding complex and computationally demanding models. However, when haptic interaction is used, a quick response of the simulation is needed, thus computations performed during the simulation need to be very fast. This thesis consists of three parts, where two main intertwined topics are addressed. First, a technique of precomputation-interpolation is used to perform the computationally demanding tasks outside of the haptic loop. Second, general methods of GPU acceleration, which are usable also for speeding up the deformation computation, are formulated. Finally, the methods of GPU acceleration are used to accelerate deformation computation. In Part I, we formulate a method of on-line precomputation, which allows to precompute deformation in the time of interaction. We also show how to use the radial-basis function (RBF) interpolation method in the on-line precomputation, where the set of deformations, used for interpolation, change in time. Moreover, we introduce the distributed algorithm allowing to precompute deformations in parallel. The presented methods are experimentally evaluated using our prototype simulator, testing the bounds of on-line precomputation, the stability of haptic response when RBF interpolation is used or scaling of the distributed algorithm. In Part II, two generally usable methods are proposed. We formulate a medium-grained programming pattern, which allows to efficiently process the mid-size data elements on GPUs. We also introduce a method of GPU kernels fusion, which is usable to optimize memory-bound kernels, and the experimental compiler allowing to fuse certain types of GPU kernels automatically. The general usability of our compiler is experimentally demonstrated on acceleration of sequences of BLAS calls, where considerable speedup over highly-tuned BLAS library is measured. In Part III, the acceleration of deformation computation returns into our focus. We use the medium-grained programming pattern and the compiler to accelerate element subroutine, used in the deformation simulation, and reached significant speedup over CPU implementation. The results presented in this thesis have significant impact on the studied problem. They allow to perform precomputations more efficiently and to eliminate the long precomputation phase for moderatelly-complex deformations. Moreover, we clearly show that methods of GPU acceleration are generally usable allowing to accelerate such important codes, as BLAS functions are.

Keywords

haptics, deformation simulation, FEM, GPU acceleration, kernel fusion, medium-grained, optimization, BLAS

Language used: English

Date on which the thesis was submitted / produced: 3. 12. 2012

Thesis defence

• Date of defence: 16. 4. 2013
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: Ing. Tomáš Martínek, Ph.D., Prof. Dr. Erwin Laure

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics