Hand analysis in gesture-based interfaces : design of an accurate real-time algorithm

Ing. Pavel Jetenský, Ph.D.

Doctoral thesis

Abstract:

Hloubkové sensory prodělaly v posledních letech velký kvalitativní vzestup. Zařízení jako je Microsoft Kinect prokázaly svou schopnost poskytovat spolehlivá 3D data o okolním prostoru. To vedlo ke vzniku nových uživatelských rozhraní, založených na snímání lidských rukou. Vědci nyní zkoumají rozdílná paradigmata uživatelské interakce, nicméně ideální řešení dosud nebylo nalezeno, neboť na uživatele jsou stále kladena mnohá omezení. I přes velké pokroky v oboru přirozených uživatelských rozhraní, kde je uživatel osvobozen od práce s jakýmkoliv pomocným vstupním zařízením, klávesnice a myš je v roce 2015 stále hlavním paradigmatem interakce s počítačem. Hlavním důvodem je vysoká komplexnost úloh analýzy lidské ruky a interpretace gest. Tato práce prezentuje algoritmus detekce ruky pro přesný výpočet souřadnic špiček prstů a dalších parametrů ruky na základě snímku ruky získaného z hloubkové kamery. Algoritmus správně analyzuje jak rovné, tak ohnuté prsty a je rotačně invariantní. Algoritmus lze použít pro vývoj uživatelského rozhraní založeného na gestech rukou, jako je TouchTable. TouchTable je multi-modální uživatelské rozhraní vyvinuté v rámci této dizertace. Práce prezentuje výhody navrženého algoritmu oproti dosud publikovaným metodám. Přesnost algoritmu je vyhodnocena pomocí DepthTipu, nové veřejné datové sady, která slouží k vyhodnocování algoritmů počítajících souřadnice prstů.

Abstract:

Depth sensor technology has undergone a large quality increase in recent years. Devices like Microsoft Kinect proved to provide reliable 3D data about the surrounding environment. This led to an emergence of new user interfaces based on a tracking of user's hands. In spite of advantages in natural interfaces, where user is free of any input device, a keyboard and mouse is still a major paradigm for human computer interaction in 2015. The main reason for this stems from the high intricacy of the hand feature detection and gesture classification tasks to properly interpret gestures of human hands. This work presents a detection algorithm for accurate calculation of fingertip coordinates and other hand properties, based on a hand image captured from a depth sensor. It properly analyzes both straight and bent fingers and is rotation invariant. The algorithm can be used for a development of user interfaces based on a human gesture analysis, in a same way as it was used in our TouchTable interface. TouchTable is a multi-touch, multimodal user interface developed as a part of the dissertation. The user of this interface can relax his hands on a working surface, which prevents fatigue from longer usage. This fatigue is known from traditional touch screens and in-air gesture based user interfaces. Advantages of the proposed algorithm over other methods of fingertip detection are described. The algorithm is evaluated using DepthTip, a new public dataset that can be used to evaluate accuracy of fingertip detection algorithms.

Keywords

sluchová paměť, zakřivení, ektrakce blobu, konvoluční matice, získávání dat, ukládání dat, hloubkový senzor, hloubková kamera, digitální zpracování obrazu, ergonomie, prst, špička prstu, gesto, ruka, zpracování informací, HCI, Interakce člověk-počítač, Kinect, snímání pohybu, multidotykové rozhraní, lineární regrese, TouchTable, shoda se šablonou, uživatelské rozhraní, vizuální paměť, ukládání dat.

Language used: Czech

Date on which the thesis was submitted / produced: 8. 4. 2016

Accessible from:: 31. 12. 2999

Thesis defence

• Date of defence: 8. 6. 2016

University of Pardubice

Faculty of Electrical Engineering and Informatics

Doctoral programme / field:
Electrical Engineering and Informatics / Information, Communication and Control Technologies