Experimental Verification of a Synergy of Techniques for Efficient Similarity Search in Metric Spaces

Bc. Iuliia Mariachkina

Bachelor's thesis

Abstract:

Efektivní podobnostní vyhledávání je zásadní pro mnoho aplikací. Existují studie, které ukazují, že některé kombinace indexačních technik zvyšují efektivitu podobnostního vyhledávání ve srovnání se samostatnými indexačními technikami. Zatím však nebyla provedena dostatečně systematická studie na toto téma. Tato práce si klade za cíl poskytnout experimentální studii synergií indexačních technik různých typů. Proto uvažujeme podobnostní dotazy, jejichž cílem je najít 30 nejbližších objektů k libovolnému zadanému v datové množině 1 milionu objektů stejného typu, a v práci analyzujeme 4 různé typy datových objektů. Abychom ověřili naši hypotézu, že indexační techniky založené na různých principech filtrují během podobnostního vyhledávání různé objekty, analyzujeme množiny datových objektů neodfiltrovaných indexačními technikami během vyhodnocování podobnostních dotazů. Zaměřujeme se na průniky množin neodfiltrovaných objektů, a tím simulujeme filtrování využívající kombinace indexačních technik. Naše výsledky ukazují, že několik kombinací různých filtrovacích technik má významný potenciál filtrovat datové množiny lépe než jednotlivé indexační techniky. Potvrzujeme také, že silnějším filtrováním pomocí kombinace indexačních technik často o něco snížíme přesnost vyhledávání, nicméně toto snížení je stále tolerovatelné většinou dnešních aplikací a je bohatě kompenzováno zrychlením celého vyhledávání. Hlavním přínosem této práce je identifikace několika kombinací filtrovacích technik, které vykazují vhodné synergie. Těm by měl být věnován další výzkum v budoucnu s cílem implementovat koncový efektivní engine pro efektivní podobnostní vyhledávání ve velkých množinách dat.

Abstract:

Effective and efficient similarity search is crucial for many applications. There is strong but insufficiently systematized evidence that combinations of several indexing techniques increase the similarity search efficiency compared with standalone indexing techniques. This thesis aims to provide an experimental study of a synergy of indexing techniques of various types. To verify our hypothesis that indexing techniques based on different principles filter different objects, we analyze sets of objects non-filtered by indexing techniques during query evaluations. We intersect these sets to simulate filtering of datasets by combinations of indexing techniques. The results demonstrate that several combinations have a significant potential to filter the searched datasets more effectively than standalone indexing techniques. Our results also show that recalls of combinations are almost always lower than the recalls of individual indexing techniques, but the recall decrease is still tolerable by most of the real-life applications. As the main contribution of this work, we identify several combinations of indexing techniques that should provide the best trade-off between the acceleration of query processing and the recall decrease. We suggest implementing indexing techniques from these combinations in future research based on this thesis.

Keywords

Similarity Search, Approximate Similarity Search, Metric Space, kNN Queries, Metric Filtering, LAESA, M-tree, Metric Filtering Under the Assumption of Limited Angles in Triangles of Distances, Pivot Permutation-based indexes, PPP-Codes, M-Index, Transformations to Hamming Space

Language used: English

Date on which the thesis was submitted / produced: 16. 12. 2021

Thesis defence

• Date of defence: 8. 2. 2022
• Supervisor: RNDr. Vladimír Míč, Ph.D.
• Reader: prof. Ing. Pavel Zezula, CSc.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Computer Systems and Data Processing