Rozpoznávání izolovaných znaků znakového jazyka

Jakub HONZÍK

Bachelor's thesis

Isolated sign language recognition

Abstract:

V této práci se věnuji rozpoznávání jednotlivých znaků Argentinské znakové řeči pomocí umělé neuronové sítě. Trénovací a testovací data pocházejí z datasetu LSA64. Optimalizce parametrů neuronové sítě a její vyhodnocení jsem realizoval ve frameworku MMAction2. Testoval jsem optimalizátory SGD a Adam, pro které jsem nalezl vhodný řád konstanty učení, pro SGD to bylo 0,001 a pro Adam 1? 10^5. Pro tyto dvě nastavení jsem provedl křížovou validaci s vynecháním jednoho figuranta. Výsledky ukazují, že síť využívající SGD se na datech natrénuje o zhruba 10 epoch dříve. Úspěšnost SGD při křížové validaci na testovací množině je 0,947? 0,027, Adam má úspěšnost 0,937? 0,018. Z experimentů vyplývá, že v tomto případě je vhodnější použití optimalizátoru SGD, pokud je větší důraz na přesnost. Optimalizátor Adam je vhodnější, pokud je větší důraz na robustnost.

Abstract:

In this thesis I'm pursuing Argentinian sign language recognition using artifitial neural network. Training and testing data are from dataset LSA64. Parameter optimalization of neural network and its evaluation were realised with framework MMAction2. I've tested optimizers SGD and Adam, for which I've found suitable order of learning rate, for SGD it was 0.001 and for Adam 1? 10^5. For these two settings I carried out leave-one-out cross-validation. The results show, that the network using SGD finishes training approximately 10 epochs sooner. Accuracy of SGD for cross-validation on test set is 0.947? 0.027, Adam has accuracy 0.937? 0.018. Experiments suggest, that in this case optimizer SGD is more suitable, if there's more emphasis on accuracy. Optimizer Adam is more suitable, if there's more emphasis on robustness.

Keywords

Znaková řeč, neuronové sítě, Temporal segment networks, ResNet, MMAction2, LSA64

Language used: Czech

Date on which the thesis was submitted / produced: 23. 5. 2022

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Marek Hrúz, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Cybernetics and Control Engineering / Artificial Intelligence and Automation