Learned Indexing in Vector Database Management Systems

Bc. Jakub Žovák

Master's thesis

Abstract:

Neštruktúrované alebo zložité údaje tvoria väčšinu obsahu a informácií online. Mnohé aplikácie, ako sú odporúčacie systémy, vyhľadávače a chatboti, sa spoliehajú na tento typ údajov. Preto je potrebné mať špeciálne softvérové riešenia, ktoré dokážu spravovať, indexovať a vyhľadávať neštruktúrovaný obsah. Nedávno bolo vyvinutých mnoho vector database management systems (VDBMS), aby riešili túto potrebu. Tieto systémy spravujú neštruktúrované údaje ich kódovaním do vektorovej reprezentácie a ich indexovaním pomocou approximate nearest neighbour (ANN) algoritmov. Táto práca predstavuje nový VDBMS, ktorý používa špeciálny prístup indexovania nazývaný learned indexing, ktorý využíva modely strojového učenia na indexovanie a vyhľadávanie údajov. Tento spôsob indexovania ešte nebol použitý v žiadnom VDBMS. Vyvinutý systém je experimentálne vyhodnotený v porovnaní s najmodernejšími VDBMS systémami. Toto vyhodnotenie má za cieľ zistiť, či majú learned indexes potenciál byť použité v produkčných vektorových databázach.

Abstract:

Unstructured or complex data make up the majority of content and information online. Many applications, such as recommenders, search engines, and chatbots, rely on this type of data. Therefore, there is a need for dedicated software solutions that can manage, index, and search unstructured content. Recently, many vector database management systems (VDBMS) have been developed to address this need. These systems manage unstructured data by encoding it into vector representations and indexing it using approximate nearest neighbour (ANN) algorithms. This thesis presents a new VDBMS that uses a special indexing approach called learned indexing, which employs machine learning models to index and search data. Such an indexing technique has not yet been applied in any VDBMS. The developed system is experimentally evaluated against state-of-the-art VDBMS systems. This evaluation aims to determine whether learned indexes have the potential to be used in production-ready vector databases.

Keywords

learned indexing, machine learning, data science, database systems, similarity search

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 18. 6. 2024
• Supervisor: RNDr. Matej Antol, Ph.D.
• Reader: Mgr. David Procházka

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Big data