Techniques for Content-Based Sub-Image Retrieval

RNDr. Tomáš Homola, Ph.D.

Doctoral thesis

Abstract:

Vyhledávání obrázků je obor, který se zabývá vyhledáváním digitálních fotografií v obrazových databázích a jejich procházení. Výzkum této oblasti je velmi aktivní od sedmdesátých let minulého století. Tehdy byly k vyhledávání využívány systémy, které používaly k popsání obrázků klíčových slov. Dále pak od let osmdesátých, kdy IBM představila první systém dotazování pomocí obsahu obrázku (query-by-image-content, QBIC) jako alternativu k vyhledávání založeném na textu, můžeme pozorovat rychlý nárůst obrazových dat uložených v síti World-Wide-Web, ve sdílených fotobankách stejně jako v soukromých sbírkách domácích uživatelů, vědeckých, medicínských, vyšetřovacích a mnoha jiných skupin uživatelů. Zájem o potenciál digitálních obrázků se zvýšil zejména v posledních dvou desetiletích. Uživatelé mnoha odborností využívají příležitostí, nabízených možnostmi přístupu a manipulací s obrázky uloženými v rozsáhlých soukromých i veřejných fotobankách. Také množství obrázků uložených na pevných discích domácích počítačů začíná překračovat míru, nad kterou již je obtížně představitelné využití těchto dat bez pokročilých nástrojů pro jejich správu. V reakci na požadavky uživatelů, kteří pociťují problémy spojené s tradičními metodami vyhledávání a indexování obrazových dat, výzkumníci zaměřují svůj zájem na techniky získávání obrazových dat pomocí automaticky extrahovaných vlastností, často označovaných jako vyhledávání obrázků pomocí jejich obsahu (Content-Based Image Retrieval, CBIR). Systémy CBIR indexují multimediální dokumenty pomocí hlavních vlastností extrahovaných přímo z těchto multimédií namísto textových anotací. Dotazování pomocí obsahu je v dnešní době velmi živé pole výzkumu, s mnoha systémy vyvíjenými jak akademickými tak komerčními týmy. Výsledky předváděné těmito týmy vypadají velmi slibně. Situace je ale diametrálně odlišná v případě, když přesuneme svou pozornost od obvyklého typu úloh CBIR, například od získání obrázků, které jsou podobné (jako celek) dotazu, směrem k úloze „najdi všechny obrázky, které obsahují dotaz“. Tyto úlohy, obvykle nazývané jako Content-Based Sub-Image Retrieval (CBsIR), přináší nové typy výzev a problémů k vyřešení. Zejména je nezbytné zvolit jiné metody popisu obrázků a vyhledávání pomocí těchto nových popisovačů. To s sebou nese obrovský nárůst dat – tam, kde k popsání jednoho obrázku v CBIR postačovala jediná struktura (typicky vektor), v CBsIR vytvoří každý obrázek tisíce takzvaných lokálních rysů. Objem dat potřebných k popisu jednoho obrázku v paměti tak často převýší jeho původní velikost. S tím je spojená potřeba vyřešit množství úloh, umožňujících rychlé a kvalitní vyhledávání pod-obrázků. Otevřené okruhy zahrnují nalezení nových efektivních rysů pro reprezentaci obrázků, definici vhodných funkcí pro určení vzdálenosti rysů a návrhu indexových struktur, které umožní rychlé vyhledání dat. V této práci představujeme nové přístupy, které redukují objem dat, která jsou zapotřebí k popisu obsahu obrázku. Ukazujeme, že naše metoda redukce objemu nesnižuje kvalitu vyhledávání. Dále pak studujeme možnosti verifikace rozložení lokálních rysů v prostoru, což je nepostradatelná součást vyhodnocování podobností dvou obrázků nebo jejich částí. Představujeme novou metodu verifikace rozložení rysů a dokazujeme její praktické využití na skutečných obrázcích.

Abstract:

Image retrieval is a field of study that is concerned with searching and browsing digital images from a~database collection. This area of research is very active since the 1970s. At that time, keyword-based image retrieval systems were used that utilized keywords as descriptors to index images. Since 1980s, when IBM proposed first query-by-image-content (QBIC) system as an alternative to text-based image retrieval, we could observed a~rapid growth of images on the World-Wide-Web, in shared photo-stocks as well as in private collections of home users and scientific, medical, investigating and many other interest groups. The interest in potential of digital images has increased especially over the last two decades. Users in many professional fields are exploiting the opportunities offered by the ability to access and manipulate images stored in huge photo-stocks, both public and private. Also the amounts of images stored on hard drives of home computers are becoming so large that it is hardly possible to reasonably use this data without advanced data management tools. In reaction to the needs of users, who feel problems connected with traditional methods of image searching and indexing, researchers focus their interest on techniques for retrieving images on the basis of automatically-derived features, often denoted as Content-Based Image Retrieval (CBIR). CBIR systems index the media documents using salient features extracted from the actual media rather than by textual annotations. Query by content is nowadays a~very active research field, with many systems being developed by industrial and academic teams. Results performed by these teams are really promising. The situation gets diametrically different when we move our attention from the usual CBIR task, i.e. the retrieval of images which are similar (as a whole) to the query image, to the task ``find all images that contain the query image''. Such tasks, usually commonly denoted as Content-Based Sub-Image Retrieval (CBsIR), bring new categories of challenges and problems to be solved. Especially, it is necessary to choose a different way of describing images and searching with these new descriptors. It implies a huge growth of data -- where one structure (typically a~vector) was sufficient to describe one image in CBIR, each image in CBsIR produces thousands of so-called local features. Moreover, the amount of one image's characteristic in memory often exceeds its original size. Subsequently, there is a number of new tasks that need to be solved to allow effective and efficient sub-image searching. The open problems comprise exploring new effective features to represent images, defining suitable distance measures, and designing index structures that enable fast data retrieval. In this thesis, we introduce novel approaches that reduce the amounts of data that are required to characterize image content. We demonstrate that our data reduction does not deteriorate the quality of searching. Furthermore, we study the possibilities of verification of local features' spatial distribution, which is a vital part of evaluating the similarity of two images or their parts. We propose a~new method of the spatial distribution verification and demonstrate its usability on real-life images.

Keywords

content-based sub-image retrieval, similarity searching, local image features, image descriptors, feature quantization, features alignment

Language used: English

Date on which the thesis was submitted / produced: 1. 11. 2013

Thesis defence

• Date of defence: 11. 2. 2014
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: Ph.D. Fabrizio Falchi, doc. RNDr. Tomáš Skopal, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics