Approximate Similarity Retrieval Based on Sketches

Mgr. Vladimír Míč

Advanced ('rigorózní') thesis

Abstract:

Vyhledávání objektů podle jejich podobnosti může významně ulehčit zpracovávání velkých objemů dat. Hlavní výzvy podobnostního vyhledávání představuje zejména zrychlující se tempo produkce dat a rostoucí velikost objektů. V mnoha případech je zároveň kritická schopnost vyhledávat v datech časově efektivně, nejlépe v reálném čase. Proto je žádoucí vývoj dobře škálujících technik pro podobnostní vyhledávání. V úvodu tezí vyjmenováváme klíčové požadavky na dnešní systémy pro podobnostní vyhledávání, které chceme v dizertační práci naplnit. V přehledové části jsou rozebrány tři okruhy technik, které se k tomu obvykle používají: redukce dimenzionality (dimensionality reduction), indexační techniky (indexing techniques) a hašování zachovávající blízkost objektů (locality sensitive hasing). Disertační práce se zaměřuje na podobnostní vyhledávání pomocí "sketches" - kompaktních binárních řetězců, které mají přibližně zachovat podobnost mezi objekty. Mezi již zjištěnými poznatky jsou nastíněny mj. základní zjištění o vlastnostech sketchů, kterými se plánujeme zabývat v samotné disertační práci, a výsledky úspěšnosti podobnostního vyhledávání na stotisícové a tří milionové množině dat. Cílem práce pak bude návrh a prototypní implementace systému pro podobnostní vyhledávání, schopného vyhledávat v reálném čase v množinách obsahujících stovky milionů objektů, a to se schopností zpracovávat dotazy paralelně, tedy s vysokou propustností.

Abstract:

Retrieval of objects according to their similarity may significantly facilitate the big data processing. The main challenges of the similarity retrieval are represented by the velocity of the data production and the increasing size of data objects. As well it is crucial the ability to process data in a short time or even in a real time in many use cases. Therefore it is desirable to develop the scalable solutions for the similarity retrieval. The Introduction of the dissertation proposal contains the main challenges of the similarity retrieval, which we plan to solve in our planned system. The State-of-the-art techniques which are usually used to do it are discussed in the second section. We focus on the three areas: dimensionality reduction techniques, indexing techniques and locality sensitive hashing. Dissertation thesis focuses on the similarity retrieval based on sketches. Sketch is a compact binary string which approximates the "relation of similarity" of objects. Already achieved results presented in this thesis proposal contain the basic sketch properties relevant and suitable for the similarity retrieval and already achieved results of the similarity retrieval on a datasets with 100,000 and 3,000,000 objects. The aim of the dissertation thesis will be the proposal and implementation of the system for the similarity retrieval, which will be able to process datasets with hundreds of millions objects in a real time, with respect to the query throughput.

Keywords

approximate similarity retrieval, sketches, effectiveness, efficiency, indexing, dimensionality reduction

Language used: English

Date on which the thesis was submitted / produced: 26. 2. 2016

Thesis defence

• Date of defence: 23. 5. 2016
• Reader: RNDr. Michal Batko, Ph.D., RNDr. Jakub Lokoč, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Information Systems