Dialogue Based Processing of Graphics

Mgr. Jaromír Plhák, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

Pro zrakově postižené je důležité mít možnost používat počítačovou grafiku. Většina současných prací se zaměřuje zejména na implementaci dotykových zařízení či na využívání zvuků pro prezentaci grafiky. Základem dizertační práce je zkoumání postupu, který umožňuje uživatelům získat požadované informace verbální či neverbální formou nebo kombinací obou a zároveň se plně soustředit na obrázek. K anotování obrázků se váží zajímavé problémy. Zatímco manuální anotace je časově náročná, automatická anotace je stále velmi nespolehlivá. Ke zvýšení efektivity anotace obrázků může přispět zkoumání poloautomatických metod podporovaných grafickou ontologií. Anotace vektorové grafiky může být v některých oblastech provedena ještě efektivněji zapojením databáze znalostí složené z doplňujících informací o anotovaných objektech. Systém umožňující sonifikaci je součástí systému pro anotaci, který zkoumá objekty verbálně pomocí dialogové komunikace. V tomto směru bude dizertační práce analyzovat principy efektivního zkoumání barev obrázku, k čemuž může být výhodné využití sémantického barevného modelu. Dalším důležitým cílem dizertační práce je vývoj dialogové komunikace, která umožní předávat informace o obrázku jak verbálně tak i neverbálně.

Abstract:

The accessibility of computer graphics is one of the most important issues that assistive technology for the visually impaired meets. Up to now, most of the works in this area have been connected with tactile devices or oriented to using sound to help the user to investigate graphics. The proposed objectives of the thesis are based on the approach, that enables the user to obtain the desired information in freely choosing combinations of verbal and non-verbal form, having simultaneously full control in the way in which he or she investigate the picture. In this context, interesting problems are connected with the annotation of pictures. The manual annotation is time consuming while the automatic annotation is still not usable due to its high error rate. It seems to be reasonable to investigate semi-automatic methods supported by graphical ontology to improve the efficiency of the image annotation. The concept of the vector graphics indicates that its annotation can be handled even more efficiently by integrating a knowledge database consisting of additional pieces of information about the annotated objects. In this area, I will focus especially on semi-automatic annotation supported by a graphical ontology and a knowledge database in relation to the problems related to the sonification. The system for image sonification is the complementary part to the annotation system that explores the graphical data verbally using a dialogue system for the communication with the user. In this connection, the thesis will also analyse the principles for efficient exploration of colors in the image by presenting them by non-verbal sounds. The previous research indicates that the semantic color model can be exploited in this area. Developing dialogue communication for combining both verbal and non-verbal image information is another important objective of the thesis. It seems to be reasonable to expect that the grammar evolution approach and mixed-initiative dialogue strategy implementation will enhance the efficiency of the dialog strategies.

Keywords

dialogový systém, zpracování grafiky, ontologie

Language used: English

Date on which the thesis was submitted / produced: 28. 5. 2009

Thesis defence

• Date of defence: 29. 5. 2009

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics