Haptic Interaction with Non-linear Deformable Objects

RNDr. Igor Peterlík, Ph.D.

Doctoral thesis

Abstract:

Haptická interakce s deformovatelnými objekty v reálném čase je důležitou oblastí výzkumu se širokou škálou aplikací v medicíně a průmyslu. Snad největší výzvou v této oblasti je vývoj počítačových medických simulátorů, které vyžadují fyzikální modelování umožňující co nejvěrnější simulaci chování měkkých tkání. Tyto modely jsou založeny na matematické formulací odvozené z teorie pružnosti. Výsledkem jsou nelineární okrajové problémy definované na komplexních doménách. Takové problémy jsou řešeny numerickými technikami, např. metodou konečných prvků, které jsou ale výpočetně náročné a jejich skloubení s interakcí v reálném čase není přímočaré, obzvláště v případě haptiky, kde se vyžaduje vysoká obnovovací frekvence přesahující 1kHz. V minulosti byl navržen přístup pro haptickou interakci s modely biomolekul, založený na předpočítání dat a a jejich interpolaci. Hlavním cílem předkládané dizertační práce je rozšířit tento přístup směrem k haptické interakci s deformovatelnými předměty, modelovanými na základě fyzikální formulace. Hlavní myšlenkou je vyvinout techniku, která oddělí haptickou smyčku od výpočetně náročné simulace fyzikálního chování. Technika se skládá ze dvou procedur: první je zodpovědná za konstrukci diskrétní množiny dat, která může být provedena na dnešních počítačích v konečném čase. Druhá procedura slouží k rychlé aproximaci libovolné deformace během interakce, přičemž pro výpočet používá data generovaná první procedurou. V první části práce přinášíme matematické základy modelování deformací na základě fyzikální formulace spolu se souvisejícími numerickými metodami. Pak je uveden přehled aktuálního stavu výzkumu v oblasti haptické interakce, medických simulátorů a metody konečných prvků. V následující kapitole je prezentován haptický model, který je definován i formálně pomocí konfigurací a přechodové funkce. Kromě obecného modelu jsou uvedeny i dvě realizace: bodová interakce a interakce pomocí sférické proby. Tento model je v další kapitole použit pro popis algoritmů jak konstrukční tak aproximační procedury. Rovněž diskutujeme konvergenční problémy, které mohou nastat během numerického řešení nelineárního modelu. V další kapitole prezentujeme dvě varianty techniky. V první variantě provádíme nejdříve konstrukci diskrétní množiny dat. Když je tato procedura dokončena, přichází na řadu aproximace, která je prováděna přímo v haptické smyčce. Druhá varianta je založena na souběžném spuštění obou procedur, kde první procedura konstruuje data, která jsou právě vyžadována pro aproximaci vzhledem k aktuální pozici haptického zařízení. V obou případech je konstrukční procedura urychlena pomocí distribuovaného algoritmu. Pro aproximaci uvádíme a analyzujeme tři různé interpolační metody. Abychom prokázali validitu navrhované techniky, vyvinuli jsme proof-of-concept a prototypovou implementaci. Jejich popis spolu se specifikací konečněprvkového modelu a přehledem experimentů je v práci detailně uveden. Nakonec přinášíme obsáhlé vyhodnocení vzhledem na různá kritéria, např. délka předpočítání, přesnost aproximace, haptická a numerická stabilita. Výsledky, které jsme získali během vyhodnocení potvrzuji správnost navrhované techniky a efektivitu algoritmů uvedených v tezích.

Abstract:

The real-time haptic interaction with deformable objects is an important area of research with wide range of applications in medicine and industry. Here, the development of computer-based medical training systems (medical simulators) is perhaps the most challenging task, as it requires physically-based modelling to mimic the behaviour of soft tissues. Such models are usually based on the mathematical formulations emerging from the theory of elasticity, resulting in non-linear boundary-value problems defined over complex domains. Numerical techniques such as the finite element method, which are needed to solve these problems, are computationally expensive and therefore, their employment in the real-time interaction is not straightforward, especially in haptics, where the refresh rate over 1\,kHz is required. Recently, an approach based on precomputation and interpolation was proposed for haptic interaction with conformational model of biomolecules. The main goal of this thesis is to extend this approach towards the real-time haptic interaction with non-linear physically-based models of deformable objects. The main idea is to develop a technique treating the high-frequency haptic loop and the computationally expensive calculations of the model separately. The technique consists of two procedures: first, it is a construction of a discrete set of data, which can be performed in reasonable time on today's computers. Second, it is a fast approximation of an arbitrary deformation which is needed during the real-time interaction using only the data from the discrete set constructed by the first procedure. After presenting the mathematical background focused on the physically-based deformation modelling and related numerical methods, the state of the art concerning haptics, medical simulators and finite element software is described. To establish the discretization employed by the technique proposed in this thesis, a general haptic model of the interaction is introduced more formally in terms of configurations and transitions together with two realizations: single-point and spherical-probe haptic interaction. The model is then used to describe the algorithms of both the construction and the approximation procedure. The potential convergence issues due to the non-linearity of the model are taken into account in the design of the construction algorithms. Next, two variants of the technique are presented: in the first variant, the construction procedure is performed during the off-line phase and after it is completed, the precomputed data can be used for the approximation. In the second variant, both procedures are executed concurrently, so that the construction procedure supplies the data which are currently required by the approximation. In both cases, the distributed algorithms of the construction are designed and the advantages and disadvantages of both variants are discussed. Moreover, three different methods of approximation are proposed and analyzed. To verify the technique, proof-of-concept as well as prototype haptic implementations were developed. The description together with the specification of the FE model and overview of the experiments are given in details. Finally, a detailed evaluation with respect to various criteria such as length of the precomputation, accuracy of the approximation and haptic as well as the numerical stability is presented. The results obtained during the extensive experiments confirm the validity of the technique as well as the efficiency of the algorithms proposed in this thesis.

Keywords

haptic interaction, soft tissues, finite element method, parallel and distributed computing, non-linear models

Language used: English

Date on which the thesis was submitted / produced: 10. 2. 2009

Thesis defence

• Date of defence: 11. 5. 2009
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: prof. Ing. Václav Hlaváč, CSc., dr. Cagatay Basdogan

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics