Unobtrusive Multi-User Interaction in Group Collaborative Environments

RNDr. Vít Rusňák, Ph.D.

Doctoral thesis

Abstract:

Displejové stěny a skládané dotykové stoly reprezentují efektivní nástroje pro vizualizaci objemných dat nebo kontextově bohatého obsahu. V poslední dekádě na tyto systémy můžeme narazit ve výzkumných centrech, laboratořích, muzeích ale i v dalších veřejných prostorách. Jejich primárním cílem bylo poskytnout rozlišení v řádu desítek či stovek milionů pixelů, možnosti interakce byly upozaděny. Důležitost efektivní interakce s těmito systémy však nabývá na významu. Původně používané rozhraní příkazové řádky či jednoduchá grafická rozhraní byly doplněny herními ovladači či dotykovými senzory. Výzkum v oblasti interakce člověka s počítačem se studiu metod interakce s použitím těchto zařízení věnuje s nebývalým zájmem. Následkem toho vizualizační systémy postupně integrují různé technologie, např. vícedotykové senzory, prostorové snímače či ukazovátka, umožňující přirozenou uživatelskou interakci. Tyto nástroje však poskytují pouze základní víceuživatelskou interakci, tj. dva či více uživatelů může se systémem pracovat současně. Nicméně, kontinuální trasování uživatelů, jakož i jejich asociace se vstupními událostmi, které by mohly výrazně zlepšit uživatelskou přívětivost, je stále víceméně neprobádané téma. Ačkoliv současné vícedotykové senzory umožňují současnou práci více uživatelů, nejsou schopny rozlišit uživatele či asociovat je se vstupními událostmi. V této práci představíme metodu pro tvorbu prostředí pro ,,neobtěžující" skupinovou spolupráci, které kombinují více vstupních modalit a umožňují asociaci vstupních událostí s jednotlivými uživateli. Naše metoda vylepšuje interakci s těmito systémy a přibližuje ji zážitkům reálného světa. Umožňuje metafory interakce, jakými jsou vlastnění digitálního obsahu či řešení situací, kdy dochází k překryvu uživatelů či jejich rukou při uživatelské interakci. V tomto kontextu jsou přirozená uživatelská rozhraní reprezentována kombinací škálovatelného vícedotykového rozhraní rozšířeného o další typy komoditních senzorů, např. hloubkové senzory či RGB kamery. Pojem ,,neobtěžující" vyjadřuje vlastnost systému umožňující uživatelům začít jej ovládat bez nutnosti předchozí orchestrace s nositelnými zařízeními či kalibrací předcházející samotné interakci. Prezentujeme tři techniky adresující výše uvedené problémy: globální souřadný systém, virtuální vícedotyková vrstva a ,,neobtěžující" trasování uživatelů. Globální souřadný systém popisuje oblast, ve které mohou uživatelé interagovat s vizualizačním systémem. Každý fyzický senzor poskytuje lokální souřadný systém, jež je projekcí jeho aktivní oblasti, kterou nazýváme ,,pohled". Pohledy slouží ke konstrukci globálního souřadného systému. Virtuální vícedotyková vrstva poskytuje škálující způsob konstrukce vícedotykových rozhraní z více fyzických senzorů stejného typu. Nezbytné zpracování vstupních dat jako je napojování gest vykonaných přes více senzorů je tak skryto a virtuální vícedotyková vrstva se chová jako jendolitý senzor. Dále představíme dva typy algoritmů pro trasování uživatelů vhodné pro hloubkové senzory. V neposlední řadě také představíme proces mapování dotykových událostí na konkrétního uživatele, který využívá výše uvedených technik. Dále představíme framework pro vícesenzorové snímání (MUSE). Ten využívá komoditního hardware a umožňuje vytvářet vrstvu pro přirozenou uživatelskou interakci pro vizualizační prostředí různých velikostí, včetně schopnosti rozlišovat uživatele. Framework může nalézt uplatnění i v jiných scénářích, kde je vyžadována kombinace více senzorů (např. bezdotyková interakce s

Abstract:

vizualizačními nástroji na operačních sálech). Díky sjednocení rozhraní různých senzorů lze framework využít také jako nástroj pro prototypování a vyhodnocování nových technik interakce či jejich srovnání. Tato vrstva zpracovává data z různých senzorů a poskytuje jednotné rozhraní pro existující vizualizační nástroje. Považujeme tento návrh univerzální interakční vrstvy za vhodnější ve srovnání s tvorbou dalšího z řady vizualizačních nástrojů s pokročilými možnostmi interakce integrovanými přímo. Náš návrh je obecnější a skýtá tak prostor pro další výzkum. V závěru práce se věnujeme vyhodnocení prototypové implementace frameworku MUSE. Zaměřujeme se jak na kvantitativní, tak kvalitativní porovnání. V prvním případě jde zejmé\-na o výkon frameworku a jeho jednotlivých modulů. Co se týče kvalitativních parametrů, zabývali jsme se vyhodnocením přesnosti vybraných algoritmů. Dále jsme provedli uživatelskou studii, jež využila framework v pilotním nasazení. Uživatelská studie se věnovala srovnání přímé (dotykové) a nepřímé (prostřednictvím zařízení) interakce na sadě úkolů týkajících se manipulace s objekty na displejové stěně. Prototyp frameworku jsme nasadili v Laboratoři pokročilých síťových technologií na Fakultě informatiky Masarykovy univerzity. Závěry experimentálního vyhodnocení potvrdily náš předpoklad realizovatelnosti budování ,,neobtěžujících" prostředí pro skupinovou spolupráci. Kvantitativní experimenty potvrdily, že výkon prototypové implementace je dostatečný pro zajištění přiměřené reakce na vstupní události a je srovnatelný např. s nástroji grafického uživatelského rozhraní. Limity se objevily zejména na straně vizualizačních nástrojů, zejména kvůli jejich delší odezvě v kombinaci se starým HW, na němž testy probíhaly. Ačkoliv navržené techniky vedly k omezení problémů s překryvy, stále je zde prostor pro další bádání.

Abstract:

Large visualization systems based on display-walls and tabletops represent an efficient tool for visualization of large-scale data or context rich content. They have become widely spread in research centers, laboratories, museums and other public spaces during the last decade. While their primary goal was to provide resolution in the order of tens or hundreds of millions of pixels, they offer limited interaction capabilities. Since proper and efficient interaction with the system is becoming more important, initially used command line applications and simple graphical user interfaces were complemented with game controllers, or multi-touch overlays. Human-computer interaction research studies the interaction methods incorporating usage of these novel devices. Thereupon visualization systems gradually incorporate various technologies enabling natural user interaction such as multi-touch interfaces, mid-air interaction or pointing devices. Such systems provide basic multi-user interaction, i.e., two or more users can interact concurrently. However, continuous user-tracking and association of input events with users, which could considerably improve user experience, is still a largely unexplored topic. Although current multi-touch interfaces usually allow multi-user interaction, they are incapable of distinguishing users and making an association between them and the input actions. In this thesis, we present an approach for building unobtrusive group collaborative environment that combines multiple input modalities to allow association of input events with individual users. Our approach improves interaction with these environments towards real-world experience. It allows integration of interaction metaphors such as digital content possession or occlusion handling. In this context, natural interfaces are represented as a combination of a scalable multi-touch interface extended with other types of commodity sensors such as depth sensors or RGB cameras. Unobtrusiveness is the capability to work with the system without prior orchestration with wearables or initial calibration required before the interaction can begin. We present three techniques addressing the issues above: the global coordinate space, virtual multi-touch overlay, and unobtrusive user-tracking. Global coordinate space is a description of the whole area where users can interact with the visualization system. Each physical sensor provides a local coordinate system describing its active area called the viewport. Viewports are used to construct global coordinate space. The virtual multi-touch overlay behaves as a single seamless sensor. It provides a scalable approach for construction of multi-touch interface from multiple sensors of the same kind. The necessary processing such as concatenation of gesture strokes made across multiple physical sensors is hidden. Next, we present two types of user-tracking algorithms suitable for commodity depth sensors. Finally, we describe the matching process between input actions and tracked users. Next we present the Multi-Sensor (MUSE) framework as a tool utilizing commodity hardware sensors to provide natural user interaction layer for visualization environments of various sizes. It also provides user-distinguishing features on top of that. The framework could also serve both establishing interaction layer in scalable resolution displays as well as in other scenarios requiring a combination of multiple sensors (e.g., for touch-less interaction with visualization tools during surgical operations). Since it defines a common baseline for multiple sensor types, it can be used as a prototyping and evaluation platform for new interaction techniques and their comparison. The layer processes data from various sensors and provides an interface to existing visualization middleware tools. We claim the design of universal interaction layer is more convenient than a construction of novel visualization middleware with all these features incorporat

Abstract:

ed. Our approach is more general and opens new opportunities for future research. We conclude the thesis with the experimental evaluation of the MUSE framework prototype. The observed parameters were both quantitative and qualitative. In the former, we focused on the performance evaluation of the framework and its modules. In the latter, we observed the accuracy of selected algorithms. We also conducted a user study that utilized the MUSE framework as a pilot. The user study compares user experience in direct (touch-based) and indirect (device-based) interaction on a set of object manipulation tasks on the display wall. We deployed the prototype implementation of the MUSE framework in the Laboratory of Advanced Networking Technologies at Faculty of Informatics, Masaryk University. The evaluation confirmed our premise of a combination of multiple types of sensor devices as a feasible approach to building unobtrusive group collaborative systems. Framework prototype performance is sufficient to ensure adequate responsiveness of the input layer comparable to GUI-based control. Limitations have occured mainly on the side of visualization middleware tools, primarily due to their slow response time in combination with aging hardware. Although the proposed techniques led to the reduction of occlusion issues, there is still space for further investigation.

Keywords

group collaborative environments, multi-user interaction, unobtrusive interaction, scalable-resolution displays, tiled displays, display walls, tabletops, distributed systems, skupinová prostředí pro spolupráci, víceuživatelská interakce, neobtěžující interakce, displeje se škálovatelným rozlišením, skládané displeje, displejové stěny, dotykové stoly, distribuované systémy

Language used: English

Date on which the thesis was submitted / produced: 16. 12. 2015

Thesis defence

• Date of defence: 24. 3. 2016
• Supervisor: prof. RNDr. Luděk Matyska, CSc.
• Reader: prof. Ing. Pavel Slavík, CSc., Prof. Jason Leigh, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies