Automatické rozpoznávání znakového jazyka z obrazových dat

Ing. Marek HRÚZ

Doctoral thesis

Feature Extraction for Automatic Analysis of Sign Language Gestures

Abstract:

Automatické rozpoznávání znakového jazyka je problém se širokým záběrem. Byl řešen výzkumníky z různých oblastí. Závisle na úhlu pohledu může být tento problém rozdělen do několika výzkumných odvětví: zpracování signálu, počítačové vidění, interakce mezi člověkem a počítačem, teorie systémů, strojové učení, zpracování jazyka a další. Existuje mnoho publikací, které pojednávají o individuálních aspektech znakového jazyka, ale výzkum v této oblasti stále zaostává za příbuzným a starším problémem rozpoznávání řeči. Je velice těžké určit, které existující metody jsou pro rozpoznávání znakového jazyka nejlepší. V jednotlivých pohledech lze identifikovat nejlepší přístupy, ale porovnat výsledky je těžké. Souvisí to i s faktem, že neexistuje unifikovaný korpus, který by se používal pro srovnání výsledků. Na druhou stranu již samotná možnost existence takového korpusu je sporná, protože data, které popisují znakový jazyk, můžou mít velice rozdílný charakter (kamera, datové rukavice, snímaní hloubky). V této práci představuji několik korpusů, které byly zaznamenány pomocí systému využívajícího kamery, se záměrem rozpoznávat izolované znaky. Navrhl jsem systém schopný sledovat ruce a hlavu v kontrolovaném prostředí, využívající metody počítačového vidění a strojového učení. Systém je navržen jako pravděpodobnostní, což umožňuje klasifikaci z více zdrojů, a zároveň je připravený na aplikaci standardních adaptačních metod jako MAP nebo MLLR. Ze sledovaných objektů jsou extrahovány příznaky, které jsou použity pro rozpoznávání za použití skrytých Markovových modelů.

Abstract:

The automatic sign language recognition is a broad problem. It has been addressed by researchers with different backgrounds. Depending on the point of view the problem can be decomposed into several areas of research: signal processing, computer vision, human computer interaction, system theory, machine learning, language processing and more. There are many publications that discuss the individual aspects of the sign language recognition but the research is still behind a related and older problem of speech recognition. It is very hard to determine the state-of-the-art in sign language recognition. We can make use of the state-of-the-art methods of the individual approaches but the results cannot be compared directly. The main reason for that is that there is no unified corpus that could be used as a benchmark for the different approaches. On the other hand the existence of such a corpus is highly questionable since the raw data describing the sign language can be very distinct (camera, data-glove, depth imaging, ... ). In this work I present several corpora that were recorded using a visual camera system for the purpose of isolated sign recognition. I have designed a system capable of tracking the hands and head in a controlled environment utilizing methods of computer vision and machine learning. The system is designed in a probability framework which enables classification from multiple sources (multi-modal approach) or to allow the application of standard adaptation techniques such as MAP (maximum a posteriori) or MLLR (maximum likelihood linear regression). Features are extracted from the tracked body parts and used for recognition using a hidden Markov model.

Keywords

rozpoznávání znakového jazyka, vizuální sledování objektů, strojové učení

Language used: English

Date on which the thesis was submitted / produced: 22. 3. 2013

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Ing. Luděk Müller, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics