Temporally Dynamic Learned Index for Similarity Search over Complex Data

Bc. Emma Sommerová

Master's thesis

Abstract:

Približné hľadanie najbližších susedov (ANN) vo vysoko dimenzionálnych vektoroch je základom moderného vyhľadávania, odporúčacích systémov a jazykových modelov založených na systéme RAG. Učené indexy využívajú malé neurónové siete na smerovanie dotazov do relevantných oblastí datasetu. Na statických kolekciách sú tieto indexy schopné konkurovať zaužívaným metódam. Ich výhody sa ale strácajú pri dynamických datasetoch. Pri akumulácii vložených a vymazaných dát sa distribúcia kolekcie posúva od preč od tej, na ktorej bol pôvodný model natrénovaný. Presnosť vyhľadávania sa zhoršuje, latencia sa zvyšuje a štandardné riešenie tohto problému — pretrénovanie na celom datasete — prestáva byť výpočetne realizovateľné na datasetoch presahujúcich desiatky miliónov objektov. Z týchto dôvodov je učené indexovanie limitované na statické kolekcie. Na riešenie tohto problému prezentujeme generickú metódu dynamizácie akéhokoľvek učeného indexu, ktorý ponúka minimálne statické rozhranie, pomocou adaptácie Bentley-Saxe dekompozície na problém vyhľadávania ANN. Prichádzajúce vektory sú vložené do malej vyrovnávacej pamäte a neskôr integrované do štruktúry statických učených indexov (levelov), z ktorých je každý trénovaný len na svojej vlastnej podmnožine dát. Navrhujeme niekoľko multi-levelových vyhľadávacích stratégií, vrátane normalizácie pravdepodobnostných skóre na zosúladenie porovnateľnosti levelov, mechanizmy na kompakciu, rekonštrukciu po vymazaní dát a stratégie na pretrénovanie pri meniacej sa dátovej distribúcii. Taktiež prezentujeme tri diagnostické metriky, ktoré dekomponujú kvalitu vyhľadávania na kvalitu rozčleňovania datasetu a navigácie. Túto metódu realizujeme v podobe Dynamic Learned Index (DLI), s použitím Learned Metric Index (LMI) ako interného statického indexu, ktorý vyhodnocujeme na niekoľkých datasetoch o veľkostiach do 100M vektorov. DLI analyzujeme v kontinuálnom cykle vkládania a vymazávania, ako aj meniacich sa distribúcií prichádzajúcich dát a dotazov. Tieto výsledky porovnávame s HNSW, IVFFlat a pravidelne rekonštruovaným LMI. Na základe tejto evaluácie má DLI najmenšiu pamatovú stopu, pričom dosahuje balancovaný výkon pri vkladaní, zmazávaní aj vyhľadávaní. Toto dáva DLI do pozície silného kandidáta pre nepredvídateľné dynamické scenáre, zatiaľ čo existujúce indexy optimalizujú len pre jeden scenár na úkor iných.

Abstract:

Approximate nearest neighbor (ANN) search over high-dimensional vectors underpins modern retrieval, recommendation systems, and retrieval-augmented generation for large language models. In learned indexing, small neural models direct each query to the relevant region of the dataset. On static collections, learned indexes are competitive with other established methods. However, their advantage disappears in dynamic settings. As inserts and deletes accumulate, the data drifts away from the distribution on which the routing model was trained. Search accuracy degrades, latency increases, and the standard remedy—retraining the model on the entire dataset—becomes computationally prohibitive past tens of millions of vectors. Learned indexes thus remain restricted to static settings. To this end, we present a general framework that dynamizes any learned index exposing a minimal static interface, by adapting the Bentley-Saxe decomposition to ANN search. Incoming vectors are absorbed into a small in-memory buffer and migrated through compaction into a sequence of static learned indexes (levels), each trained only on its own subset of the data. We develop multi-level search strategies, one of which uses probability-normalized scoring to resolve cross-level bucket incomparability, compaction mechanisms, rebuild policies for deletions, and retraining strategies for managing distribution shift. We also introduce three diagnostic metrics that decompose recall loss into partitioning and routing quality components. We instantiate the framework as the Dynamic Learned Index (DLI) using the Learned Metric Index as the internal static learned index, and evaluate it on several large-scale datasets of up to 100M vectors. We study DLI's performance under continuous insert–delete cycles, distribution shift, and out-of-distribution queries, comparing it against HNSW, IVFFlat, and a periodically retrained LMI. Based on the evaluation, DLI attains the smallest memory footprint—over an order of magnitude smaller than HNSW—while delivering balanced throughput across insert, delete, and search. This positions DLI as a strong candidate for unpredictable dynamic workloads, where current indexes each optimize one axis at the expense of others.

Keywords

learned indexing, dynamic learned index, learned metric index, similarity search, approximate nearest neighbors, dynamicity, distribution shift

Language used: English

Date on which the thesis was submitted / produced: 19. 5. 2026

Thesis defence

• Date of defence: 16. 6. 2026
• Supervisor: RNDr. David Procházka
• Reader: RNDr. Michal Batko, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Processing and analysis of large-scale data