Underwater Localization and Interaction for Open-Sea Augmented Reality Systems

RNDr. Jan Čejka

Doctoral thesis

Abstract:

Součástí každé lidské kultury je její historie a historické artefakty. Lidé je studují a dávají dohromady chybějící informace, opravují staré budovy a odhalují struktury ukryté tisíce let. Historické artefakty se ovšem nenacházejí pouze na suchu, ale mnohé z nich, například potopené lodě nebo části měst, leží na dně moří. Vodní prostředí ovšem komplikuje restaurační procesy a znemožňuje lidem tyto památky navštívit. Moderní technologie umožňují lidem prožít návštěvu historických míst naprosto novým způsobem. Jednou z těchto technologií je rozšířená realita, která může pomoci potápěčům s navigací pod vodou a prezentovat jim informace o archeologických nalezištích a turistických místech. Bohužel, mořské prostředí negativně ovlivňuje algoritmy počítačového vidění a komplikuje detekci objektů důležitou pro lokalizaci potápěče. Zařízení pod vodou se také mnohem hůře ovládají, protože musí být chráněná před vodním prostředím. Tato práce zkoumá metody jak přinést rozšířenou realitu pod vodu na otevřené moře. Nejprve se zaměřuje na problém vizuální lokalizace objektů ve špatných viditelnostních podmínkách v mořské vodě, zkoumá existující řešení zlepšující obraz snímaný pod vodou a vybírá tři metody, které v reálném čase zvyšují počet detekovaných markerů pro rozšířenou realitou. Jedno z těchto řešení pak přizpůsobuje černobílým markerům a uvádí nový detektor speciálně navržený pro podvodní prostředí. Další část práce se zaměřuje na interakci potápěče se zařízením poskytujícím rozšířenou realitu. Navrhuje tři nové metody psaní textu, které nevyžadují fyzický přístup k obrazovce smartphonu a jsou tedy vhodné pro zařízení uzavřená ve vodotěsném pouzdře. Tyto metody jsou porovnávány v uživatelské studii s účastníky v bazénu a na souši. Třetí část práce představuje celý systém pro rozšířenou realitu pod vodou. Využívá dvou nejlepších řešení pro lokalizaci a interakci uvedených v předchozích částech práce, přidává inerciální senzory a sledování prostoru bez využití markerů a kombinuje všechny tyto funkce do systému, který potápěčům umožňuje vidět pod vodou neexistující části památek v jejich předpokládané podobě. Také dokáže získat od uživatelů jejich zpětnou vazbu přímo ve vodě. Poslední část práce testuje celý systém v místě zatopené starověké římské vily Villa con Ingresso a Protiro ve městě Baiae v Itálii. Aplikace zaznamenává a vyhodnocuje pozorované objekty, analyzuje, na které části virtuální scény si potápěči vzpomenou, a porovnává výsledky s účastníky testujícími tentýž systém na souši v ideálních podmínkách. Výsledky práce prokazují, že vzniklý systém je funkční, potápěče zaujal a hodnotí ho velmi pozitivně.

Abstract:

The history and historical artefacts represent an essential part of every culture. People study their past and search for missing information, repair old buildings, and excavate structures lost for thousands of years. The artefacts are not only on land, but many assets lie on the bottom of the sea, like sunken ships or submerged cities. Unfortunately, the underwater environment complicates the restoration process and disallows people from visiting the places. Modern technologies allow us to experience cultural heritage sites in new and exciting ways. One of them is augmented reality, whose main benefit under water is that it can help divers navigate to points of interest or present exciting information about archaeological and touristic sites. However, the harsh sea environment affects computer vision algorithms and complicates the detection of objects, which is essential for diver's localization and tracking. The additional protection required for the hardware to work under water also hampers the interaction with devices. This thesis investigates the possibility of bringing the augmented reality under water into the open sea. First, it inspects the problem of visual localization of objects and confronts the bad visibility condition. It examines the existing image-improving algorithms and chooses three real-time solutions that increase the number of detected markers requires for augmented reality tracking. One of these solutions is then adapted particularly for detecting black-and-white markers in the open sea. This part of the research is concluded by presenting a novel detector that is designed specifically for the underwater environment. Then, the thesis focuses on interaction. It suggests three new methods for writing texts that do not require touching the smartphone's screen and thus are suitable for devices closed in underwater housings. These methods are compared in a user study with participants writing simple texts in a swimming pool and on land. The third part of the thesis presents the whole underwater augmented reality system. It takes the best solutions for underwater localization and interaction, incorporates the inertial sensors and markerless tracking, and combines all these features into a complex system that allows the divers to see the missing historic structures and provide their feedback directly in water. The final part of the thesis tests the whole system at the underwater site of Villa con Ingresso a Protiro, an ancient Roman villa located in Baiae, Italy. Apart from the user feedback, the evaluation records the observed objects, analyzes details that the divers can recall from the virtual scene, and compares them with participants testing the system on land. The feedback proves that the system is rated very high and captivates the users, while the results show interesting characteristics of divers' behavior.

Keywords

augmented reality, cultural heritage, iMARECULTURE, underwater, open sea, smartphone, mobile device, marker detection, ARUco, image improving, synthetic image generation, marker-based, interaction, tilting, tracking, SLAM, IMU, VIO, sensor fusion, ARCore, ARKit, Kalman filter, user study

Language used: English

Date on which the thesis was submitted / produced: 4. 9. 2020

Thesis defence

• Date of defence: 20. 1. 2021
• Supervisor: prof. RNDr. Petr Hliněný, Ph.D., doc. Fotios Liarokapis, PhD
• Reader: doc. Ing. Martin Čadík, Ph.D., Prof. Rafael Garcia, PhD

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics