Dialogue-based Exploration of Graphics for Users with a Visual Disability

RNDr. Jaromír Plhák, Ph.D.

Doctoral thesis

Abstract:

Přístupnost počítačové grafiky je jedním z nejdůležitějších současných témat v oblasti asistivních technologií pro osoby se zrakovým postižením. Doposud se většina prací v této oblasti orientovala na tvorbu hmatových zařízení, nebo na využití neverbálních zvuků pro zkoumání grafických objektů. V této práci představujeme nový přístup ke zkoumání grafických dat. Grafická data jsou integrována s dialogovým rozhraním, což umožňuje uživatelům s nimi komunikovat pomocí přirozeného jazyka. Sémantika vizuálních dat je popsána ontologiemi, které jsou využity i v rámci dialogového rozhraní. Tyto ontologie představují formálně definované a dobře strukturované báze dat. Komunikace s uživatelem je řízena inteligentními moduly. On-line zdroje jsou využívány jak pro získávání dodatečných informací o grafických datech, tak i pro řešení složitějších úloh. Výzkum se také zaměřuje na návrh poloautomatických metod pro anotování obrazu, které využívají doménové ontologie. V rámci projektu "GATE" byl implementován prototyp aplikace pracující na koncepci komunikativních obrázků a tento prototyp byl testován uživateli se zrakovým postižením. V rámci výzkumu jsme také navrhli a implementovali systém, který umožňuje uživatelům se zrakovým postižením vytvářet webové prezentace jednoduchým a přirozeným způsobem za pomoci webových formulářů.

Abstract:

The accessibility of computer graphics is one of the most important issues that assistive technologies for people with a visual disability have to deal with. Up to now, most of the works in this area have been connected with tactile devices or focused on using non-verbal sounds to help such people explore graphics. In this thesis, we present a novel approach to accessible image exploration. Images are integrated with a dialogue interface enabling users to communicate with images by means of natural language. Image semantics, as well as the dialogue interface, are supported by ontologies representing a formally defined and well-structured knowledge base. Communication with the user is operated by intelligent dialogue management modules. Online resources are used for retrieving supplementary information about the images as well as for solving more complex tasks. Our research is also dedicated to improving the efficiency of image annotation using semi-automatic image annotation methods supported by domain ontologies. The concept of communicative images has been implemented within the Graphics Accessible To Everyone system prototype and tested by users with a visual disability. We have also designed and implemented a system that allows users to create web presentations in a simple and natural way using web page forms and to integrate this page with communicative images.

Keywords

Accessibility, communicative image, dialogue strategy, dialogue system, GATE, grammar, graphics exploration, ontology, SVG, visual disability

Language used: English

Date on which the thesis was submitted / produced: 30. 4. 2014

Thesis defence

• Date of defence: 5. 11. 2014
• Supervisor: doc. RNDr. Ivan Kopeček, CSc.
• Reader: prof. Ing. Václav Matoušek, CSc., Univ.Prof.Dr. Klaus Miesenberger

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics