Analýza pohybových dat znakového jazyka

Ondřej VALACH

Bachelor's thesis

Sign Language Motion Capture Data Analysis

Abstract:

Znakový jazyk je jedním z nejdůležitějších komunikačních prostředků komunity neslyšících. Zprostředkování tlumočeného projevu není vždy dostupné. Jako řešení problému dostupnosti co největšího množství informací v jejich přirozené podobě pro Neslyšící se nabízí jeho automatická syntéza. Tato práce je součástí projektu, který se syntézou zabývá a~pojednává o~problému automatického určení podobnosti dvou projevů znakového jazyka. Během výpočtů je zpracováváno velké množství dat. Proto je potřeba měření této podobnosti plně automatizovat. I~v~případě, že projevy budou mít stejný význam, nemusí být stejně dlouhé. Je~představen a testován algoritmus Dynamického borcení času, metody převzorkování dat a zjištění podobnosti, případně vzdálenosti dvou projevů ve znakovém jazyce. Cílem je získat kombinaci metod, jejíž výsledek by tuto vzdálenost, případně podobnost spolehlivě reprezentoval.

Abstract:

Sign language is one of the most important communication ways for the~deaf. Mediation of interpreted speech is not always available. As~a~solution to the problem of the availability of as~much information as possible in its natural form for the Deaf, is its automatic synthesis. This thesis is part of a project, which deals with the synthesis and discusses the~problem of automatically determining the similarity of two sign language signs. There is a large amount of data processed during the computations. This is the reason to fully automate the process. Even if two signs with the same meaning are tested, they will have probably different length. The thesis presents ands tests the algorithm of Dynamic Time Warping, resampling methods, data interpolation and similarity detection, in~the~case of computing the distance between two time series. The aim is to obtain a combination of methods whose result would reliably represent this distance or similarity.

Keywords

Znakový jazyk, pohybová data, Dynamické borcení času, zpracování signálu, převzorkování, interpolace, korelace, vzdálenost, Python

Language used: Czech

Date on which the thesis was submitted / produced: 24. 5. 2021

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Pavel Jedlička

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Computer Science and Engineering / Intelligent Man-Machine Communication