Enhancing Performance of Learned Metric Index for Indexing Large Datasets

Bc. Jozef Čerňanský

Bakalářská práce

Anotace:

Skúmame existujúcu implementáciu Learned Metric Index a jej výkonnostné charakteristiky, pričom pozorujeme niekoľko čŕt, ktoré obmedzujú jej účinnosť. V reakcii na to navrhujeme kľúčové koncepčné pokroky a vylepšenia výkonu v procesoch a vyhľadávania. Konkrétne je proces konštrukcie prepracovaný tak, aby zahŕňal schému odberu vzorky a existujúci algoritmus zhlukovania je nahradený vhodnejšou alternatívou. Zavádza sa lepšia správa pamäte a na podporu indexovania v prostrediach s obmedzenou pamäťou, sú vysokodimenzionálne vektory zasadené do priestorov s nižšou dimenziou pomocou techniky redukcie dimenzionality. Na urýchlenie procesu vyhľadávania implementácia využíva efektívnu implementáciu úplného prehľadávania, ktorá umožňuje paralelné spracovanie dotazov na viacjadrových strojoch. Praktická časť predstavuje novú implementáciu napísanú od základou v jazyku Python. Je založená na knižnici PyTorch s uvedenými rozšíreniami a podporuje akceleráciu GPU. Pomocou sústavy pre optimalizáciu hyperparametrov automatizujeme ladenie parametrov. Úspešne sme škálovali implementáciu z 10 miliónov na 1 miliardu záznamov, čo je nárast o dva rády a zároveň sme zplešili priemerný čas vyhľadávania. Experimentálne porovnávame účinnosť a efektívnosť existujúcej a našej implementácie. Okrem toho poskytujeme analýzu toho, ako počet bucketov ovplyvňuje čas zostavovania a vyhľadávania, a ukazujeme výhody GPU akcelerácie a ďalších vylepšení, ako je kvantovanie váh modelov alebo JIT kompilácia kódu do optimalizovaných jadier.

Abstract:

We study the existing implementation of the Learned Metric Index and its performance characteristics, observing several features that limit its efficiency. In response, we propose key conceptual improvements and performance enhancements in the construction and search processes. Specifically, the construction process is redesigned to include a sampling scheme and the existing clustering algorithm is replaced by a more suitable alternative. Better memory management is introduced, and to support indexing in memory-constrained environments, high-dimensional vectors are embedded into lower-dimensional spaces using a dimensionality reduction technique. To speed up the search process, the implementation uses an efficient exhaustive search implementation that allows parallel query processing on multi-core machines. The practical part presents a new implementation written from scratch in Python. It is based on the PyTorch library with the listed extensions and supports GPU acceleration. Using a hyperparameter optimization framework, we automate the tuning of parameters. We successfully scale the implementation from 10 million to 1 billion records, an increase of two orders of magnitude, while improving the average query time. We experimentally compare the efficiency and effectiveness of the existing and our implementation. In addition, we provide an analysis of how the number of buckets affects build and search time and show the benefits of GPU acceleration and other improvements, such as quantizing model weights or JIT compiling code into optimized kernels.

Keywords

learned metric index, performance enhancement, machine learning, complex data, similarity search

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 12. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 5. 2. 2025
• Vedoucí: Mgr. David Procházka
• Oponent: RNDr. Michal Batko, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika