A High-Performance Dynamic Learned Index for Complex Data in Rust

Bc. Šimon Plhák

Diplomová práce

Anotace:

Tato diplomová práce se zabývá vývojem vysoce výkonného učeného indexu (learned index) pro vyhledávání podobnosti v jazyce Rust, který nahrazuje předchozí prototyp v Pythonu. Index využívá kaskádu statických indexů založených na osvědčených technikách datových struktur a k řízení procesu vyhledávání využívá modely strojového učení. Implementace zahrnuje nativní trénovací pipeline pro strojové učení, vlastní optimalizaci pro problém vyhledávání nejbližších sousedů a interoperabilitu s Pythonem prostřednictvím vazeb přes PyO3/Rust. Testování na sadách až do 100 milionů vektorů ukazuje, že systém v dynamických scénářích vykazuje oproti tradičním metodám zlepšení v latenci vyhledávání, propustnosti vkládání/mazání a paměťové efektivitě, a to vše při zachování vysoké kvality vyhledávání.

Abstract:

This thesis develops a high-performance learned index for similarity search in Rust, replacing previous Python prototype. The index utilizes a cascade of static indexes rooted in proven data structure techniques, employing machine learning models to guide the search process. The implementation features a native ML training pipeline, custom nearest-neighbor problem optimization, and Python interoperability through PyO3/Rust bindings. Benchmarked on up to 100 million vectors, the system demonstrates improvements in search latency, insertion/deletion throughput, and memory efficiency over traditional methods in dynamic scenarios, all while maintaining high search quality.

Keywords

Learned indexes, Approximate nearest neighbor search, k-NN, Dynamic data structures, Rust programming language, Information retrieval, Machine learning

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 18. 6. 2026
• Vedoucí: RNDr. David Procházka
• Oponent: RNDr. Michal Batko, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů