Learned Metric Index in Rust

Bc. Marek Ličko

Bakalářská práce

Anotace:

Efektívne vyhľadávanie podobnosti vo veľkých, vysokodimenzionálnych dátových množinách je kľúčové pre mnohé moderné aplikácie. Learned Metric Index (LMI) predstavuje efektívny prístup založený na strojovom učení pre túto úlohu vyhľadávania podobnosti. Existujúce implementácie LMI v Pythone sú však obmedzené interpretovanou povahou jazyka a Global Interpreter Lock (GIL), čo obmedzuje výkon a škálovateľnosť. Rust, s dôrazom na výkon, bezpečnosť práce s pamäťou a súbežnosť, predstavuje sľubnú alternatívu pre vývoj efektívnejšej implementácie LMI. Táto práca popisuje vývoj implementácie LMI v jazyku Rust, navrhnutej tak, aby prekonala uvedené obmedzenia využitím výhod výkonu a súbežného modelu Rustu s cieľom zlepšiť výstavbu indexu aj samotné vyhľadávanie. Implementovaná verzia Rust LMI podporuje indexovanie bez obmedzenia pamäte aj s obmedzením pamäte vrátane konfigurácií, ktoré počas vyhľadávania pristupujú k vektorom v plnej dimenzionalite uloženým na disku na účely preusporiadania výsledkov. Jadro Rust implementácie je zabalené ako knižnica a prístupné cez Python wrapper, čo umožňuje jednoduchú integráciu do existujúcich Python pracovných postupov. Komplexné hodnotenie na podmnožine 100 miliónov vektorov z datasetu LAION-2B porovnávalo túto Rust implementáciu s jej pôvodným Python variantom. Implementácia v Rust dosiahla výrazne rýchlejší čas dotazovania — napríklad 32,4-násobné zrýchlenie pri neobmedzenom indexovaní, a to pri zachovaní identickej presnosti vyhľadávania. Podobné výkonnostné zisky boli pozorované aj v scenároch s obmedzenou pamäťou. Práca dokumentuje rozdiely vo výkone naprieč jednotlivými fázami pipeline, ako je clustering (K-Means) a konštrukcia indexu, a diskutuje o zvolených návrhových kompromisoch.

Abstract:

Efficient similarity search in large, high-dimensional datasets is crucial for many modern applications. The Learned Metric Index (LMI) offers an effective machine learning-based approach to this similarity search task. However, existing LMI implementations in Python are constrained by the language's interpreted nature and the Global Interpreter Lock, limiting performance and scalability. Rust, with its emphasis on performance, memory safety, and concurrency, presents a promising alternative for developing a more efficient LMI. This thesis details the development of a Rust LMI implementation, designed to overcome these limitations by leveraging Rust's performance and concurrency model to enhance both build and search operations. The implemented Rust LMI supports unrestricted memory indexing as well as memory-restricted indexing, including configurations that access full-dimensionality vectors from disk for reranking during search. Packaged as a library, the Rust core is accessible via a Python wrapper, ensuring straightforward integration into existing Python workflows. A comprehensive evaluation on a 100 million vector subset from the LAION-2B dataset compared this Rust LMI with its original Python counterpart. The Rust implementation demonstrated substantially faster query execution—for instance, achieving a 32.4-fold speedup in query time during unrestricted indexing while maintaining identical search accuracy. Similar query performance gains were observed in memory-constrained scenarios. The thesis documents the performance differences across specific pipeline stages, such as K-Means clustering and index construction, and discusses the design tradeoffs encountered.

Keywords

learned metric index, rust, nearest neighbor query, similarity search, data indexing

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 6. 2025
• Vedoucí: Mgr. David Procházka
• Oponent: Mgr. et Mgr. Jaroslav Oľha, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika