Recognition of Reading Disorder Based on Eye-Tracking Data

Bc. Andrej Černek

Diplomová práce

Anotace:

Vývinová dyslexia, porucha súvisiaca s čítaním, postihuje odhadom 5–10 % populácie, čo z nej robí najčastejšiu poruchu učenia. Ak nie je zmiernená, môže vážne ovplyvniť akademický a pracovný výkon, preto je nevyhnutná včasná a ľahká detekcia. Táto práca skúma využitie technológie sledovania pohybu očí a techník strojového učenia na rýchly predbežný skríning. Na základe analýzy existujúceho výskumu navrhujeme rozličné, zavedené aj nové, transformácie dát, okrem iného extrakcie štatistík založených na udalostiach pohybu očí vo forme vektorov alebo vizualizácie sekvencií viacrozmerných udalostí pohybu očí ako obrázky pevnej veľkosti. S našou implementáciou v jazyku Python, ktorú poháňajú scikit-learn a PyTorch, hodnotíme tieto reprezentácie na štyroch úlohách čítaných českými deťmi pomocou vhodných neurónových sietí, ako sú viacvrstvový perceptrón, gated recurrent unit a konvolučná neurónová sieť. Naše experimenty ukazujú, že modely neurónových sietí, konkrétne neurónová sieť trénovaná na obrázkoch s augmentáciami, dosiahli priemernú vyváženú presnosť až 92 %, šesť p.b. nad najlepším základným algoritmom 1–najbližšieho suseda. Výsledky tiež analyzujeme individuálne pre každú úlohu a pre každého účastníka s ohľadom na obmedzenia. Nakoniec sú načrtnuté návrhy pre ďalšie oblasti výskumu.

Abstract:

Developmental dyslexia, the disorder related to reading, affects an estimated 5–10 % of the population, making it the most common learning disability. It can severely impact one's academic and occupational performance if unmitigated, so early and easy detection is essential. This thesis explores the use of eye-tracking technology and machine-learning techniques as a fast pre-screening solution. Based on an analysis of the existing research, we propose a variety of established and new data transformations, including extraction of gaze-event-based statistics in the form of vectors or visualisation of multi-dimensional gaze event sequences as fixed-size images, among others. With our Python implementation, enabled by scikit-learn and PyTorch, we evaluate these representations using appropriate neural networks such as Multilayer perceptron, Gated recurrent unit and Convolutional neural network on four tasks read by Czech children. Our experiments show that neural network models, specifically the neural network trained on the images with augmentations, achieved a mean balanced accuracy of up to 92 %, six p.p. above the best 1-Nearest neighbour baseline. The results are also analysed individually per dataset and participant with limitations in mind. Finally, suggestions for further research areas are outlined.

Keywords

AI, computer vision, deep learning, eye-tracking, dyslexia

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 5. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2023
• Vedoucí: doc. RNDr. Jan Sedmidubský, Ph.D.
• Oponent: prof. Ing. Pavel Zezula, CSc.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Zpracování a analýza rozsáhlých dat