Scalable Learned Indexing for Complex Data

Mgr. David Procházka

Rigorózní práce

Anotace:

Zpracovávání komplexních dat, jako jsou obrázky a videa, je klíčovou součástí současných aplikací. Tyto objekty jsou typicky transformovány do kompaktních, vysoce dimenzionálních a sémanticky bohatých vektorů. Vzhledem k podstatnému objemu originálních dat a následně i jejich vektorů je však nezbytné vyvíjet efektivní nástroje pro jejich správu. Tento úkol spadá do oblasti podobnostního vyhledávání, které se zaměřuje jak na akceleraci procesu vyhledávání, tak i kvalitu odpovědi. Nedávno byla navržena nová kategorie indexů, známých jako učené indexy, která nahlíží na index jako na model. Tento přístup se následně rozšířil z původní aplikace v jednorozměrných prostorech do návrhu učených indexů pro vysokodimenzionální data. Jedním z představitelů učených indexů je Learned Metric Index (LMI). V této práci zkoumáme jeho efektivitu, zejména schopnost indexovat velké datové sady snížením doby konstrukce a efektivním vyhodnocením dotazů. Demonstrujeme zlepšení výkonu napříč několika implementacemi LMI, které zahrnují paralelismus mezi dotazy, akceleraci pomocí GPU a využití SIMD instrukcí se smíšenou přesností. Řešíme také otázku indexování dat větších než je operační paměť, škálovatelnost LMI na miliardové datové sady, ale i uspořádání vektorů v paměti.

Abstract:

The processing of complex data, such as images and videos, is a key component of contemporary applications. These objects are typically transformed into compact, high-dimensional, and semantically rich dense vector embeddings. However, due to the substantial volume of such data and, consequently, embeddings, it is imperative to develop both efficient and effective tools for their management. This task falls within the domain of similarity search, which studies the problematics of accelerated retrieval of such objects based on their similarity. Recently, a novel category of indexes, known as learned indexes, has emerged, founded on the premise that any index can be conceptualized as a model. This approach was extended to the similarity search domain, prompting the introduction of various learned indexing techniques for high-dimensional data. One representative of such indexes is the Learned Metric Index (LMI). In this thesis, we investigate the efficiency of LMI, particularly its ability to index large datasets, by reducing construction time and executing queries efficiently. We demonstrate performance enhancements across LMI implementations that incorporate performance-oriented improvements such as inter-query parallelism, GPU acceleration, and SIMD instructions with mixed precision. We address the challenge of indexing datasets larger than memory, scale the implementation to a billion-scale dataset, and highlight the significance of memory layout.

Keywords

high-dimensional learned indexing, learned metric index, learned indexing, machine learning, index, similarity search, performance benchmarking

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 8. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 21. 1. 2026
• Oponent: doc. RNDr. Petr Sojka, Ph.D., prof. Ing. Michal Krátký, Ph.D.

Masarykova univerzita

Fakulta informatiky

Rigorózní řízení / obor:
Umělá inteligence a zpracování dat / Umělá inteligence a zpracování dat