Semantics Visualization and Visual Semantics: in E-learning and other Applications

RNDr. Tomáš Gregar

Doctoral thesis

Abstract:

Disertační práce se zabývá analýzou a návrhem nových metod a nástrojů pro zpracování sémantických dat. Ty by měly být dostatečně robustní k tomu, aby mohly být využity i uživateli, kteří mají malé znalosti o Sémantickém webu nebo informačních technologiích obecně. Využití sémantiky dokumentů je mezioborový proces – pro získávání těchto metadat se například využívají metody zpracování přirozeného jazyka, počítačové grafiky či počítačového vidění. Pro zaručení přenosu sémantické informace uživateli je pak třeba použít různých vizualizačních metod a procesů elektronické podpory výuky. Existující metody jsou často speciálně vytvořeny v jedné z domén, často bez žádného využití ostatních domén, které se získáváním sémantiky zabývají. Taková specializace ale snižuje jejich využitelnost v obvyklých scénářích využití obvyklými uživateli. Například automatická obecná sémantická segmentace z oblasti počítačového vidění má zajímavé výstupy, ty jsou ale bohužel nepoužitelné v oblasti uživatelských aplikací, které vyžadují rychlé reakce prostředí. V disertační práci budou nejprve popsány související technologie a existující přístupy ke zpracování obecné sémantiky (hlavně metody získávání a vizualizace sémantických dat). Bude prodiskutována jejich využitelnost v elektronické podpoře výuky, nebo jiných scénářích, kde s těmito daty mají pracovat nespecializovaní, „normální“ uživatelé. Také se zamýšlím nad potenciálem kombinace méně náročných metod k dosažení náročnějších cílů. Práce popisuje způsoby jak sémantická data a sémanticky popsaná data vizualizovat. Přináší robustnější, poloautomatickou metodu vizualizace a představuje metody, které zjednodušují vytváření vizualizací, tvorbu šablon takovýchto dat. V práci je také řešena sémantická anotace, včetně speciálního případu anotace obrazových dat – požadavky takových procesů, problémy uživatelského rozhraní, ontologické struktury, atd. S tím souvisí návrh a vývoj rámce nástrojů, které pracují se sémantikou. Tento rámec slouží zároveň jako ukázka navržených metod či identifikovaných pravidel.

Abstract:

The thesis is aimed at the analysis and design of new methods and tools for processing semantic data, robust enough to be used by users even with very low IT or Semantic Web knowledge. The exploitation of semantics intersects with different areas of informatics -- the acquisition can use methods from natural language processing, computer graphics, or computer vision. We can utilize visualization methods and e-learning processes to ensure transfer of semantic information to the user. Existing methods are often researched in specialized domain without any overlap or utilization of the others. But profitability of using semantics decreases significantly in real-life usage due to such specialization. Automatic general semantic segmentation of computer vision has interesting outputs, but inapplicable in nearly-real-time environment of user applications, for example. The related technologies and existing approaches to general semantic processing will be described in this dissertation -- the methods of acquiring and visualizing the semantic data in particular. The usability in e-learning and other real-world scenarios is discussed, as well as potential of combining less demanding methods to achieve more complex goals. Selected ways to visualize semantic data (and semantically-described data) are described. A more robust, semi-automatic method for visualization, and also methods capable to aid the preparation of the semantic visualization, the style-sheeting, have been designed and will be presented. The semantic annotation and semantic annotation of the image data is further discussed in this thesis – the process requirements, user interface structure, ontological structures, etc. A framework of semantic-aware tools developed as a part of this effort is also presented, as it served for utilization of the described methods.

Keywords

semantics, data preprocessing, e-learning, annotation, formalized visualization, semi-automatic concept retrieval, visualization, ontology

Language used: English

Date on which the thesis was submitted / produced: 10. 8. 2011

Thesis defence

• Date of defence: 18. 8. 2011
• Supervisor: doc. RNDr. Tomáš Pitner, Ph.D.
• Reader: doc. Ing. Vojtěch Svátek, Dr., doc. Ing. Petr Tůma, Dr.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics