Towards Large-Scale Multi-Modal Image Search

RNDr. Petra Budíková, Ph.D.

Doctoral thesis

Abstract:

V současné době zažívá naše společnost obrovský nárust množství digitálních informací. Díky snadné dostupnosti technologií pro pořizování a ukládání digitálních dat pokračuje rychlý růst nejen množství, ale i složitosti těchto dat. Tato situace nabízí mnoho možností pro získávání informací, které dříve nebyly dostupné, v souvislosti s tím ale vzniká také množství nových a náročných úkolů souvisejících se zpracováním digitálních dat. Kvůli velké vnitřní složitosti mnoha moderních digitálních datových typů, jako jsou například multimédia, již na práci s takovými daty často nestačí tradiční databázové technologie, které jsou založeny na principu přesného vyhledávání. V posledních dvou desetiletích proto získává na významu alternativní přístup založený na vyhledávání podle podobnosti obsahu dat. Tento přístup je inspirován přirozeným lidským vnímáním a učením, ukazuje se však, že je velmi složité podobnostní princip prakticky uchopit a implementovat. Výzkum v oblasti podobnostního vyhledávání se intenzivně rozvíjí na mnoha úrovních, které zahrnují psychologické studie vnímání podobnosti, analýzu multimediálních dat i rozvoj technologií pro indexování dat a vyhledávání v nich. Důležitou vlastností podobnostního vyhledávání je také skutečnost, že lidské vyhodnocování podobnosti je vždy subjektivní, závisí na kontextu a promítá se do něj mnoho pohledů na daný objekt. Všechny tyto skutečnosti je potřeba zohlednit také v návrhu nástrojů pro podobnostní vyhledávání. Proto se v poslední době mnoho výzkumných týmů zaměřuje na tzv. multi-modální vyhledávání, které se snaží porovnávat datové objekty na základě několika různorodých charakteristik (modalit). Tím je možno zvýšit přesnost vyhledávání, zároveň je však třeba usilovat o řešení umožňující rychlé zpracování dotazu. V této práci se zabýváme multi-modálním vyhledáváním nad obrázkovými daty a možnostmi využití této technologie v aplikacích, které zpracovávají velké objemy dat. Zaměřujeme se zejména na rozvoj metod, jejichž základem je podobnostní vyhledávání, a vyhodnocování jejich vhodnosti pro dva reálné scénáře nasazení – obecné webové vyhledávání v obrázcích a automatické generování anotací. V obou těchto situacích je jedním ze základních požadavků zpracování dotazů v reálném čase – rychlost vyhledávání je tedy zcela zásadní. Kromě nových metod pro vyhledávání předkládáme návrh obecného dotazovacího jazyka pro podobnostní vyhledávání v multimédiích. Dále se věnujeme rozsáhlému srovnání různých přístupů k multi-modálnímu vyhledávání v obrázcích a experimentálnímu vyhodnocení jejich přesnosti a rychlosti. Pro usnadnění podobných vyhodnocení byla vytvořena nová evaluační platforma, která poskytuje velkou kolekci obrázků a nástroje umožňující vyhodnocovat úspěšnost metod a vzájemně je srovnávat. V závěru práce je představen softwarový produkt MUFIN Annotation Tool, který umožňuje automaticky generovat anotace obrázků.

Abstract:

In the modern information society, we experience an unprecedented explosion of digital information. Fueled by the easy availability of acquisition and storing technology, the amounts of digital data as well as its complexity continue to grow at a high speed. This situation offers many opportunities for information retrieval, but also presents huge challenges in the area of data management. Due to the high internal complexity of many modern data types such as multimedia, traditional database systems that exploit exact match paradigm are no longer suitable for organization and retrieval of such data. The similarity-based approach, which has attracted a lot of research attention in the last two decades, represents a promising alternative, as the utilization of similarity is natural to human cognition and learning. However, the concept of similarity has been shown to be difficult to define and implement, and the similarity-based retrieval is still far from becoming a mature technology. The research efforts proceed on many levels, including psychological studies of similarity, analysis of multimedia properties, and development of data indexing and retrieval techniques. It is also becoming clear that the concept of similarity is subjective, context-dependent and multi-faceted, which needs to be reflected by the data management tools. Therefore, a lot of recent research activities are aimed at multi-modal data management, trying to provide a complex yet computationally efficient representation of data objects by combining multiple views on object similarity. In this thesis, we study the multi-modal retrieval in the domain of digital images and its utilization in the context of large-scale applications. We focus on the development of multi-modal search methods exploiting content-based retrieval and on evaluation of their applicability in two real-world scenarios – general web image search and automatic image annotation. In both of these scenarios, real-time processing is expected: therefore the search efficiency is one of the most important qualities. In addition to the novel retrieval methods, we propose a general query language for similarity-based multimedia retrieval. Furthermore, we provide a thorough performance analysis of different approaches to multi-modal image searching in the context of large-scale retrieval. For the evaluation and deeper understanding of applicability of different solutions, a new evaluation platform for large-scale image searching was created. Finally, we present the MUFIN Annotation Tool software, which provides automatically generated keywords that describe image content.

Keywords

content-based image retrieval, similarity searching, multi-modal retrieval, information fusion, large-scale data management, multimedia query languages, retrieval evaluation, automatic image annotation

Language used: English

Date on which the thesis was submitted / produced: 23. 1. 2013

Thesis defence

• Date of defence: 26. 3. 2013
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: doc. RNDr. Tomáš Skopal, Ph.D., Dr. Giuseppe Amato

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics