Metrické skeče pro podobnostní vyhledávání

Bc. Matej Kvaššay

Master's thesis

Metric Sketches for Similarity Searching

Anotácia:

Metrické skeče sú kompaktné binárne reprezentácie pôvodných objektov, ktoré slúžia na urýchlenie a zefektívnenie vyhľadávania podobností v dátach. Namiesto vyhľadávania podobností v pôvodnom metrickom priestore, identifikujeme množinu kandidátov pre výdledok vyhľadávacieho dotazu najskôr v priestore v pamäti uložených metrických skečí a až potom vykonáme vyhľadávanie v pôvodnom metrickom priestore, kde je výpočet podobnosti dvoch objektov omnoho výpočetne náročnejší. V tejto diplomovej práci definujeme pojem metrických skečí, diskutujeme o ich vlastnotiach a použití pre urýchlenie vyhľadávania a vyhodnocujeme ich prínos na vysokodimenzionálnych vektoroch extrahovaných z obrázkov. Pre efektívne vyhľadávanie v priestore skečí používame dátovú štruktúru Multi-hash Index, ktorú taktiež analyzujeme a evaluujeme na experimentálnom datasete.

Abstract:

Searching for objects in typically large collections of unstructured data which is compared by notion of similarity is one of fundamental tasks researched in the eld of information retrieval. Metric space approach is addressing some challenges of similarity searching by projecting data into a metric space and exploiting it’s properties to reduce number of object comparisons required in order to retrieve search results. Metric sketches are compact in-memory xed-length binary data representations of objects that are being utilized to speed up simi- larity searching in general metric spaces by applying lter & re ne paradigm. Search is rst conducted in the sketch space to identify set of result candidates which are then examined in the original space where comparison of objects is signi cantly more computationally de- manding. To further speed up searching in sketch space we organize sketches in hash-based data structure called Multi-hash index. In this thesis we de ne notion of metric sketches and discuss their properties and aspects of their creation, optimization and application for the task of similarity searching. Furthermore we explain core ideas behind the Multi-hash index and it’s usage for searching among sketch representations. Finally, we evaluate contribution of sketches and Multi-hash index on real-life dataset consisting of feature vectors of images.

Keywords

similarity searching, metric sketches, multi hash index, metric distance, indexing, filtering, refinement

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 13. 12. 2017

Obhajoba závěrečné práce

• Obhajoba proběhla 1. 2. 2018
• Vedúci: prof. Ing. Pavel Zezula, CSc.
• Oponent: RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Informatics / Artificial Intelligence and Natural Language Processing