Sign language to natural language alignment. – Bc. Filip MAJER

Abstract:

The goal of this thesis is to investigate whether the quality of sign language translation can be improved through architectural modifications that integrate temporal information across video frames and enable language alignment pretraining. This thesis provides an overview of sign language processing, contrastive learning and relevant models based on the Transformer architecture, such as DINO, VideoViT and Sentence Transformers. The practical part focuses on training a novel model called VideoDINO, which uses DINOv2 visual encoders, pose keypoints and a Temporal Transformer to align representations of sign language videos with representations of textual transcriptions. The model is trained and evaluated on the How2Sign and YouTube-ASL datasets. Experiments explore the impact of contrastive learning, different model configurations and input preprocessing on the quality of video representations used for sign language translation. The results are evaluated using a custom alignment metric and the BLEU score to measure translation performance. In specific cases, the proposed method outperformed the previous approach by up to 15% in terms of BLEU score. …víceméně

Abstract:

Cílem práce je prozkoumat možnosti zlepšení kvality překladu znakového jazyka prostřednictvím architektonických úprav, které využívají časovou souvislost mezi snímky videa a umožňují trénování pomocí metod zarovnání jazykových reprezentací (angl. language alignment). Práce poskytuje přehled metod zpracování znakového jazyka, kontrastního učení a relevantních modelů založených na architektuře Transformer, jako jsou DINO, VideoViT a Sentence Transformers. Praktická část se zaměřuje na trénování nového modelu s názvem VideoDINO, který využívá vizuální enkodéry DINOv2, klíčové body reprezentující pózu postavy a Temporal Transformer pro zarovnání reprezentací videí znakového jazyka s reprezentacemi textových přepisů. Model je trénován a vyhodnocován na datasetech How2Sign a YouTube-ASL. Experimenty zkoumají vliv kontrastního učení, různých konfigurací modelu a předzpracování vstupu na kvalitu reprezentací videí využívaných pro překlad znakového jazyka. Výsledky jsou vyhodnoceny pomocí vlastní metriky zarovnání a BLEU skóre pro měření kvality překladu. V některých případech model VideoDINO překonal předchozí výsledky BLEU až o 15%. …víceméně