Advancing Management of Complex Data in Metric Spaces

RNDr. Matej Antol

Doctoral thesis

Abstract:

Väčšina dát ktoré vznikajú pri používaní moderných aplikácií má komplexný charakter, čo predstavuje špecifické výzvy pre ich spracovanie. Pre správu, získavanie a analýzu komplexných dát je používaná podobnosť medzi dátovými objektmi, ktorá je modelovaná ako ich párová vzdialenosť. Tieto vzdialenosti sa potom používajú na správu komplexných dát za použitia matematického konceptu metrických priestorov. Táto dizertačná práca sa zaoberá novými prístupmi k deleniu, indexácii a podobnostnému vyhľadávaniu komplexných dát pomocou modelu metrických priestorov. Za účelom popisu klastrov komplexných dát predstavuje táto práca nový algoritmus, ktorý vytvára kompaktné reprezentácie metrických údajov podobné konvexným obalom. V oblasti indexovania práca predstavuje úpravu jedného z aktuálne používaných indexov, ktorá mu umožňuje rovnomerne distribuovať dáta medzi oddielmi indexu. Predstavené sú tiež metódy pre zefektívnenie vyhľadávania, a to jednak použitím historickej popularity dát a ich klastrov, ako aj pomocou vytvárania komplexnejších a lepšie fungujúcich prioritných front za pomoci charakteristík predmetných dát, akými sú napríklad veľkosti dátových klastrov. Táto práca taktiež uvádza učené indexovanie (learned indexing) do oblasti správy metrických dát, čo predstavuje úplne novú paradigmu pre indexáciu (komplexných) dát. Základným princípom techník predstavených v tejto práci je silný dôraz na dáta a ich charakteristiky. Všetky uvedené metódy vykazujú významné zlepšenia v rýchlosti a presnosti podobnostného vyhľadávania a boli publikované vo vysoko hodnotených vedeckých časopisoch a konferenciách.

Abstract:

Most of the data emerging in modern applications are complex in nature, which presents specific challenges in their processing. To manage, retrieve and analyze complex data, the similarity between data objects is modelled as their pairwise distance. These distances are then used for complex data management based on the mathematical concept of metric spaces. This dissertation thesis is composed of original approaches to partitioning, indexation and similarity searching of complex data using the metric space model. To describe data clusters, this work introduces a brand new algorithm that can create compact representations of metric data similar to convex hulls. In indexing, the thesis presents a modification of one of the currently-used indexes, which allows it to distribute data evenly between data partitions. Improvements to searching are introduced by considering information about the historical popularity of data and their clusters – exploiting this property, as well as any other data properties such as the sizes of clusters, serves to create more holistic and better-performing priority queues. This thesis also introduces learned indexing to the realm of metric data management, which challenges the standard paradigms of (complex) data indexation. The underlying principle behind these ideas is a much stronger emphasis on the data and their intrinsic characteristics. All of the presented methods show significant improvements in similarity searching speed and accuracy, and they were all published in high-ranking, peer-reviewed scientific journals and conferences.

Keywords

metric space, similarity searching, index, query optimization, learned metric index, metric hull

Language used: English

Date on which the thesis was submitted / produced: 7. 9. 2021

Thesis defence

• Date of defence: 10. 2. 2022
• Supervisor: doc. RNDr. Vlastislav Dohnal, Ph.D.
• Reader: prof. Richard Connor, doc. RNDr. Jakub Lokoč, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Computer Science / Computing Technology and Methodology