Similarity Search on a Very Large Scale

RNDr. David Novák, Ph.D.

Doctoral thesis

Abstract:

Koncept podobnosti je vysledovatelný v různých oblastech informatiky i jiných oborů. Jednou z nejvýraznějších aplikací tohoto konceptu je podobnostní vyhledávání. Toto vyhledávací paradigma se stalo důležitým zejména díky současnému fenoménu tzv. datové exploze, který můžeme pozorovat ve dvou směrech: jednak v současnosti velmi rychle stoupají objemy produkovaných dat a jednak se znatelně zvyšuje rozmanitost vytvářených dat. Tato práce se zaměřuje právě na problém efektivního zpracovaní velkých objemů dat na základě podobnosti. Data a podobnost modelujeme pomocí metrického prostoru, což je velmi univerzální a pružný koncept. Představujeme M-Chord, novou distribuovanou datovou strukturu pro podobnostní vyhledávání v metrických prostorech. Architektura M-Chordu je založena na principu strukturovaných peer-to-peer (P2P) sítí. Abychom správně identifikovaly silné a slabé stránky existujících přístupů k tomuto problému, studujeme nejdříve oblast metrického indexování a oblast P2P sítí. Výkon M-Chordu je podrobně analyzován na základě série reálných experimenů, jejichž výsledky jsou konfrontovány s ostatními řešeními. Výsledky ukazují, že M-Chord je se svými soupeři v některých směrech srovnatelný a v těch ostatních je dokonce předčí. Struktura M-Chord má tu schopnost, že sdružuje podobná data blízko, což má za důsledek lepší prořezávání vyhledávacího prostoru. Dále také používá standardní P2P navigační techniky, které mají stabilní komunikační náklady. V další části práce představujeme LOBS, techniku pro vyrovnávání výpočetní zátěže mezi jednotlivými uzly sítě. Tento přístup je vhodný pro M-Chord i ostatní P2P podobnostní struktury. Výsledky experimentů ukazují, že LOBS zlepšuje jak využívání zdrojů tak výkonost systému. V poslední části práce popisujeme prototypní aplikaci pro podobnostní vyhledávání v rozsáhlých kolekcích digitálních obrazků, která využívá M-Chord jako indexační a vyhledávací stroj. Tato aplikace demonstruje pružnost našeho přístupu tím, že určuje podobnost pomocí jedinečné kombinace pěti MPEG-7 deskriptorů. Škálovatelnost systému je prokázána tím, že indexujeme a prohledáváme databázi padesáti milionů obrázků, což je o jeden až dva řády více než spravuje jakýkoli jiný současný systém.

Abstract:

The concept of similarity is traceable in various areas of computer science and other disciplines. One of the most visible applications of this concept is similarity data retrieval. This search paradigm has become important especially due to the current phenomenon of data explosion that can be noticed in two dimensions: volumes of data produced today are rapidly increasing, and the diversity of data types is growing. This work addresses the problem of an efficient management of very large datasets on the basis of similarity. We model data and similarity using the metric space, which is a very universal and extensible concept. We propose M-Chord, a novel distributed data structure for similarity search in metric spaces. The architecture of M-Chord follows the paradigm of structured peer-to-peer (P2P) networks. To identify the pros and cons of existing approaches, we study the fields of metric-based indexing and the area of P2P structures. We analyze closely the performance of M-Chord by a series of real-life experiments and confront our solution with other approaches. The results indicate that M-Chord is comparable with its competitors in some respects and superior in others. The M-Chord structure has the ability to keep similar data close, which results in better search space pruning. Also, it employs standard P2P navigation techniques that have stable communication costs. In the next part of this work, we propose LOBS, a technique for balancing the computational load of individual peers. This approach is suitable for M-Chord and other similarity P2P structures. The results of experiments show that LOBS improves both the utilization of resources and the system performance. In the last part of this work, we describe a prototype application for content-based search in very large datasets of digital images that uses M-Chord as its indexing and searching engine. This application demonstrates the extensibility of our approach, as the similarity between images is measured by a unique combination of five MPEG-7 descriptors. The scalability is demonstrated by indexing and searching 50 million digital images, which is one or two orders of magnitude more than other current large-scale systems.

Keywords

similarity search, metric space, nearest neighbors search, peer-to-peer networks, data structures, performance, scalability

Language used: English

Date on which the thesis was submitted / produced: 2. 12. 2008

Thesis defence

• Date of defence: 16. 12. 2008
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: doc. RNDr. Tomáš Skopal, Ph.D., prof. Giuseppe Amato

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics