Implementing Filtering Techniques in Learned Metric Index for Indexing Large Datasets

Bc. Jan Mach

Bachelor's thesis

Abstract:

V poslední době pozorujeme enormní nárůst objemu nestrukturovaných dat. Jejich efektivní využití závisí na technikách, které umožňují indexovat a následně vyhledávat v těchto datech. Nedávno byla představena indexační stromová struktura Learned Metric Index, využívající modelů strojového učení. Struktura využívá pravděpodobnostní predikce modelů k rychlé navigaci a určení relevantních listových uzlů k navštívení. V této práci podávám přehled možných strategií k urychlení vyhledávání v Learned Metric Index zavedením filtrovacích technik v listových uzlech. Navrhuji vylepšení v podobě využívání pravděpodobnostního ohodnocení listových uzlů k určení podčástí, které budou navštíveny. Vybrané techniky jsou začleněny do stávající implementace a jejich vliv na rychlost vyhledávání a počet provedených výpočtů vzdálenostní funkce je vyhodnocen na dvou různých datových sadách.

Abstract:

Lately, we have seen a huge increase in the volume of unstructured data. Its effective use depends on techniques that allow indexing and subsequent searching of this data. Recently, a tree indexing structure using machine learning models has been introduced, the Learned Metric Index. The structure uses probabilistic prediction models to quickly navigate and identify relevant leaf nodes to visit. In this thesis, I give an overview of possible strategies to speed up the search in the Learned Metric Index by introducing filtering techniques in leaf nodes. I propose an enhancement in the form of using a probabilistic ranking of leaf nodes to determine the subclusters to be visited. The selected techniques are incorporated into an existing implementation, and their effect on the search speed and the number of distance function computations performed is evaluated on two different datasets.

Keywords

similarity searching, approximate similarity searching, indexing, filtering, learned index, nearest neighbor query, learned metric index

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2024

Thesis defence

• Date of defence: 25. 6. 2024
• Supervisor: Mgr. David Procházka
• Reader: doc. RNDr. Vlastislav Dohnal, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics