Continually Learned Index for Dynamic Approximate Nearest Neighbor Search

Bc. Michal Jakubík

Diplomová práce

Anotace:

Moderné aplikácie sa čoraz častejšie spoliehajú na vysokodimenzionálne vektorové embeddingy na reprezentáciu dátových modalít, ako sú text, obraz alebo proteínové štruktúry. Efektívne vyhľadávanie v takýchto dátach rieši podobnostné vyhľadávanie, pri ktorom vektorové indexy, ako napríklad HNSW alebo IVF-PQ, vykonávajú aproximované vyhľadávanie najbližších susedov (Approximate Nearest Neighbor, ANN) s cieľom nájsť vektory najpodobnejšie dopytu. Naučené indexy predstavujú alternatívny prístup k tradičným indexovacím metódam využívajúci neurónové siete, ktoré aproximujú distribúciu dát a usmerňujú proces vyhľadávania. Naučené indexy určené pre ANN vyhľadávanie vo vysokodimenzionálnych dátach sú však prevažne nemenné a pri aktualizáciách vyžadujú kompletné prebudovanie indexu, čo je vo veľkom meradle výpočtovo neúnosné. Táto práca predstavuje Continually Learned Index (CLI), dynamický naučený index pre ANN vyhľadávanie vo vysokodimenzionálnych dátach. CLI smeruje vektory do bucketov pomocou kompaktnej neurónovej smerovacej siete trénovanej na labeloch vytvorených algoritmom k-means a podporuje vkladanie, mazanie aj vyhľadávanie. Keď buckety začnú pretekať, sú rozdelené na viacero nových bucketov a smerovacia sieť je rozšírená a dotrénovaná. Na detekciu posunu distribúcie v indexovaných aj dopytových dátach je zavedená heuristika založená na entropii, ktorá spúšťa reštrukturalizáciu indexu prostredníctvom prezhlukovania indexovaných dát. Systematická ablačná analýza vyhodnocuje stratégie priebežného učenia a prezhlukovania s cieľom vybrať najvýkonnejšiu konfiguráciu na zmiernenie katastrofického zabúdania a zachovanie kvality zhlukovania. Pri porovnaní so statickým Learned Metric Indexom (LMI) a Dynamic Learned Indexom (DLI) na šiestich datasetoch CLI dosahuje až o 35 % vyšší absolútny recall, stabilnú latenciu vyhľadávania a až o 98 % nižšiu latenciu aktualizácií než DLI. Heuristika založená na entropii spoľahlivo deteguje posun distribúcie v indexových aj dopytových dátach bez generovania falošne pozitívnych detekcií na dátach pochádzajúcich z pôvodnej distribúcie.

Abstract:

Modern applications increasingly rely on high-dimensional vector embeddings to represent data modalities such as text, images, or protein structures. Efficient retrieval of such data is addressed by similarity search, where vector indexes such as HNSW or IVF-PQ perform approximate nearest neighbor (ANN) search to find the most similar vectors to a given query. Learned indexes represent an alternative approach to traditional indexing methods by using neural networks that approximate the data distribution to guide search. However, learned indexes for ANN search of high-dimensional data are predominantly immutable and require full rebuilds to accommodate updates, which is prohibitively expensive at scale. This thesis presents the Continually Learned Index (CLI), a dynamic learned index for ANN search of high-dimensional data. CLI routes vectors to buckets using a compact neural router trained on k-means labels and supports insertion, deletion, and search. When buckets start to overflow, they are split into multiple new ones and the router is expanded and fine-tuned. An entropy-based heuristic is introduced to detect distribution shift in both indexed and query data and trigger extensive changes to the index structure by reclustering the indexed data. A systematic ablation evaluates continual learning and reclustering strategies, selecting the best-performing configuration for mitigating catastrophic forgetting and maintaining clustering quality. Evaluated against the static Learned Metric Index (LMI) and the Dynamic Learned Index (DLI) on six datasets, CLI achieves up to 35% higher absolute recall, stable search latency, and up to 98% lower update latency than DLI. The entropy-based heuristic reliably detects distribution shift in both index and query data without producing false positive detections on in-distribution data.

Keywords

learned indexing, dynamic index, approximate nearest neighbors, continual learning, embeddings, naučené indexovanie, dynamický index, priebežné učenie

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 17. 6. 2026
• Vedoucí: RNDr. David Procházka
• Oponent: Mgr. et Mgr. Jaroslav Oľha, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Strojové učení a umělá inteligence