Dynamic Learned Indexing for Vector Data Using Continual Learning

Bc. Filip Forgáč

Diplomová práce

Anotace:

Learned indexing (naučené indexovanie) sa stalo perspektívnou náhradou tradičných dátových štruktúr využitím modelov strojového učenia. Od svojho zavedenia boli naučené indexy aplikované na jednorozmerné, viacrozmerné a vysoko-rozmerné (vektorové) dáta. Existujúce učené indexy pre vektorové dáta sú prevažne statické dátové štruktúry, keďže vnútorný model nedokáže prispôsobiť zmeny v rozdelení dát bez kompletného pretrénovania. To obmedzuje ich použiteľnosť v reálnych scenároch, kde sa distribúcia dát mení príchodom nových objektov. V tejto práci predstavujeme novú štruktúru nazvanú Dynamic Learned Index (DLI), učený index pre vektorové dáta, ktorý podporuje inkrementálne vkladanie bez potreby úplného pretrénovania modelu. DLI kombinuje continual learning (neustále učenie) s adaptívnym delením vnútornej distribúcie, čím dynamicky upravuje štruktúru indexu pri príchode nových vektorov. Navrhovaný prístup zachováva efektívny výkon vyhľadávania pri súčasnom uložení nových dát. Experimentálne vyhodnotenie na veľkých vektorových dátových kolekciách ukazuje, že DLI dosahuje konkurencieschopnú mieru úspešného vyhľadávania v porovnaní s existujúcimi naučenými indexačnými metódami, statickými aj dynamickými. Tento výsledok je dosiahnutý pri zachovaní nízkych časov vyhľadávania a porovnateľného času vytvorenia indexu. Výsledky demonštrujú možnosti využitia dynamického učeného indexovania vektorových dát pomocou neustáleho učenia. Zdrojový kód systému DLI je dostupný na adrese https://github.com/filipforgac/dynamic-learned-index.

Abstract:

Learned indexing has emerged as a promising replacement for traditional data structures using machine learning models. Since their introduction, learned indexes have been applied in the field of one-dimensional, multi-dimensional, and high-dimensional (vector) data. Existing learned indexes for vector data are predominantly static data structures due to the inability of the internal model to accommodate changes within the underlying partitioning without complete retraining. This limits their applicability in real-world scenarios where data distribution changes as new objects arrive. In this thesis we present a novel structure called Dynamic Learned Index (DLI), a learned index for vector data that supports incremental insertion without the need for complete model retraining. DLI combines continual learning with adaptive bucket splitting to dynamically refine the index structure with newly arriving vectors. The proposed approach maintains efficient query performance while accommodating new data. Experimental evaluation on large-scale vector datasets shows that DLI achieves competitive recall compared to existing learned indexing methods, both static and dynamic. It achieves this while maintaining low cost search times and comparable build time. The results demonstrate the feasibility of dynamic learned indexing for vector data using continual learning. The source code of DLI is available at https://github.com/filipforgac/dynamic-learned-index.

Keywords

continual learning, learned indexing, machine learning, metric space, vector data

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 16. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 3. 2. 2026
• Vedoucí: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Oponent: Mgr. Andrej Černek

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů