Improving Quality of Content-Based Image Retrieval

Mgr. Petra Budíková, Ph.D.

Advanced ('rigorózní') thesis

Anotácia:

The content-based information retrieval (CBIR) is a novel and rapidly developing method of searching in complex data, such as images, sounds or video. The image search is the most popular application of this approach. The images are described by their visual properties, such as color, shape, etc. The similarity of two images then can be evaluated using these features. The aim of the content-based retrieval is to find objects most similar to an example provided by user. The generally recognized weakness of the CBIR systems is the inconsistence between the low-level features that are extracted from an image and the human understanding of similarity, which takes into account the semantics of the image. A number of techniques have been proposed to overcome this problem. However, many of them are based on machine learning and categorization and can only be used for small specific application domains, such as medical images. In the thesis, we study the approaches that can be used in large-scale searching over general image collections, such as photos from a web gallery. These strategies are based on interactive communication with user and iterative result refinement. To allow more precise specification of users’ information need, it is necessary to extend the basic query-by-example paradigm. Based on the study of the current state, we recognize the need for efficient algorithms that would allow fast evaluation of the advanced search options, such as the multi-object queries, user-defined similarity measures, postprocessing options, etc. To ensure scalability, we propose algorithms that exploit parallel query processing in distributed environment. We also provide strategies for approximate query evaluation. In order to make it easier for users to use the extended search functionality, we are working on a similarity query language.

Abstract:

Content based information retrieval (CBIR) je nový a velmi rychle se rozvíjející přístup k vyhledávání ve složitých datových typech, jako jsou např. obrázky, zvuk nebo videozáznamy. Zejména vyhledávání v obrázcích je aktuálním tématem v mnoha aplikačních oblastech. Obraz je popsán pomocí základních vizuálních vlastností (deskriptorů), jako jsou barvy, tvary a podobně. Na základě těchto vlastností je možné vyhodnotit podobnost dvou obrázků. Cílem podobnostního vyhledávání je najít k danému vzoru nejpodobnější objekty. Obecně známým slabým místem podobnostního vyhledávání je skutečnost, že v některých případech podobnost vyhodnocená na základě extrahovaných vizuálních deskriptorů neodpovídá lidskému vnímání podobnosti, které je ovlivněno významem obrazové informace. Bylo navrženo mnoho metod, jak tento problém vyřešit, velká část z nich je však založena na strojovém učení a kategorizaci, což jsou metody použitelné jen pro malé, specializované domény (např. lékařské snímky). V tezích popisujeme přístupy, které jsou použitelné pro vyhledávání ve velkých obecných kolekcích, jako jsou například internetové fotogalerie. Tyto techniky jsou založeny na interaktivní komunikaci s uživatelem a postupném zpřesňování dotazu. Aby uživatelé mohli přesněji specifikovat svůj dotaz, je třeba rozšířit základní dotazovací schéma, které vyžaduje pouze zadání jednoho vzorového objektu. Ze studia současného stavu vyplývá, že je třeba navrhnout algoritmy, které umožní rychlé vyhodnocování složitějších typů dotazů, jako jsou dotazy s více vzory, vyhledávání pomocí uživatelem zadané definice podobnosti, následné zpracování výsledků dotazu a další. Abychom zajistili škálovatelnost našeho řešení, navrhli jsme algoritmy, které využívají paralelní zpracování dotazu v distribuovaném prostředí. Také uvažujeme možnost využití aproximace při vyhodnocování dotazů. Abychom uživatelům umožnili snazší práci s rozšířenými možnostmi hledání, pracujeme na návrhu dotazovacího jazyka pro podobnostní vyhledávání.

Keywords

Content-based image retrieval, similarity search, metric search, semantic gap, large-scale searching, postprocessing, relevance feedback, multi-object query, query language

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 10. 3. 2010

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 5. 2010
• Oponent: doc. RNDr. Tomáš Skopal, Ph.D., Dr. Giuseppe Amato

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / odbor:
Informatics / Informatics