Automatické rozpoznávání znakového jazyka z obrazových dat

Ing. Marek HRÚZ

Disertační práce

Feature Extraction for Automatic Analysis of Sign Language Gestures

Abstract:

Automatické rozpoznávání znakového jazyka je problém se širokým záběrem. Byl řešen výzkumníky z různých oblastí. Závisle na úhlu pohledu může být tento problém rozdělen do několika výzkumných odvětví: zpracování signálu, počítačové vidění, interakce mezi člověkem a počítačem, teorie systémů, strojové učení, zpracování jazyka a další. Existuje mnoho publikací, které pojednávají o individuálních aspektech znakového jazyka, ale výzkum v této oblasti stále zaostává za příbuzným a starším problémem rozpoznávání řeči. Je velice těžké určit, které existující metody jsou pro rozpoznávání znakového jazyka nejlepší. V jednotlivých pohledech lze identifikovat nejlepší přístupy, ale porovnat výsledky je těžké. Souvisí to i s faktem, že neexistuje unifikovaný korpus, který by se používal pro srovnání výsledků. Na druhou stranu již samotná možnost existence takového korpusu je sporná, protože data, které popisují znakový jazyk, můžou mít velice rozdílný charakter (kamera, datové rukavice, snímaní hloubky). V této práci představuji několik korpusů, které byly zaznamenány pomocí systému využívajícího kamery, se záměrem rozpoznávat izolované znaky. Navrhl jsem systém schopný sledovat ruce a hlavu v kontrolovaném prostředí, využívající metody počítačového vidění a strojového učení. Systém je navržen jako pravděpodobnostní, což umožňuje klasifikaci z více zdrojů, a zároveň je připravený na aplikaci standardních adaptačních metod jako MAP nebo MLLR. Ze sledovaných objektů jsou extrahovány příznaky, které jsou použity pro rozpoznávání za použití skrytých Markovových modelů.

Abstract:

The automatic sign language recognition is a broad problem. It has been addressed by researchers with different backgrounds. Depending on the point of view the problem can be decomposed into several areas of research: signal processing, computer vision, human computer interaction, system theory, machine learning, language processing and more. There are many publications that discuss the individual aspects of the sign language recognition but the research is still behind a related and older problem of speech recognition. It is very hard to determine the state-of-the-art in sign language recognition. We can make use of the state-of-the-art methods of the individual approaches but the results cannot be compared directly. The main reason for that is that there is no unified corpus that could be used as a benchmark for the different approaches. On the other hand the existence of such a corpus is highly questionable since the raw data describing the sign language can be very distinct (camera, data-glove, depth imaging, ... ). In this work I present several corpora that were recorded using a visual camera system for the purpose of isolated sign recognition. I have designed a system capable of tracking the hands and head in a controlled environment utilizing methods of computer vision and machine learning. The system is designed in a probability framework which enables classification from multiple sources (multi-modal approach) or to allow the application of standard adaptation techniques such as MAP (maximum a posteriori) or MLLR (maximum likelihood linear regression). Features are extracted from the tracked body parts and used for recognition using a hidden Markov model.

Keywords

rozpoznávání znakového jazyka, vizuální sledování objektů, strojové učení

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 22. 3. 2013

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Doc. Ing. Luděk Müller, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Doktorský studijní program / obor:
Aplikované vědy a informatika / Kybernetika