Application of machine learning to searching in unstructured data

Mgr. Terézia Slanináková

Advanced ('rigorózní') thesis

Abstract:

príklady patria obrázky, hudobné nahrávky alebo videá. Na rozdiel od dát štruktúrovaných sa vyhľadávanie v neštruktúrovaných dátach zriedka vykonáva na základe absolútnej zhody. Namiesto toho sú vzťahy medzi dátovými objektami zachytené vzdialenostnou funkciou, ktorá reprezentuje ich nepodobnosť. V dôsledku toho je najpoužívanejšou metódou vyhľadávania v neštruktúrovaných dátach podobnostné vyhľadávanie. Vyhľadávanie v neštruktúrovaných dátach však prináša niekoľko výziev. Po prvé, tieto dáta nemajú implicitné usporiadanie a preto sa musia spoliehať na výpočet nezanedbateľného množstva vzdialenostných funkcií. Ďalej, takéto dáta trpia tzv. prekliatím dimenzie (the Curse of dimensionality), ktoré má za následok, že sa vzťahy medzi dátovými objektmi nedajú v rámci zasadenia do vysoko-dimenzionálneho priestoru rozlíšiť. Nakoniec, efektívne vyhľadávanie vyžaduje vhodné rozdelenie dát do zhlukov, ktoré je z veľkej časti závislé na kvalite výpočetne náročnej zhlukovej analýzy. Napriek dekádam výskumu v tejto oblasti zostávajú tieto výzvy vo veľkej miere nevyriešené. Navyše, obrovské množstvo a tempo, v ktorom sa v súčasnosti vytvárajú rôzne kolekcie dát, vyžadujú špeciálnu pozornosť k vlastnostiam ako je škálovateľnosť a dynamickosť. Tézy dizertačnej práce riešia tieto výzvy aplikovaním špecifických metód strojového učenia na vyhľadávacie indexačné štruktúry. Táto myšlienka je inšpirovaná úspešnou výskumnou oblasťou v štruktúrovaných dátach, kde učené riešenia dosahujú lepších výsledkov voči tým tradičným (napr. B+-stromom) vo viacerých výkonnostných metrikách. Táto práca navrhuje pravdepodobnostný prístup k vyhľadávaniu v indexačnej štruktúre, ktorý sa zaobíde bez vykonávania nákladných vzdialenostných výpočtov. Ďalej predstavuje učenú dátovo-riadenú indexačnú štruktúru a aplikuje ju na prehľadávanie obrazových dát. Učený index sa tiež používa na vyhľadávanie podobnosti v proteínových štruktúrach. Nakoniec, v duchu adresovania krízy reprodukovateľnosti vo vede, táto práca predstavuje publikáciu o reprodukovateľnosti dosiahnutých výsledkov. Výsledky všetkých týchto článkov a konferenčných publikácií sú v súlade so základnou hypotézou tejto práce, t. j. že zachytenie vnútorných vlastností dát pomocou metód strojového učenia vedie k efektívnejším riešeniam podobnostného vyhľadávania, ktoré sú lepšie vybavené pre požiadavky éry veľkých dát.

Abstract:

Most data collections created in the Big Data era are unstructured, examples include images, music recordings, or videos. Contrary to structured data, searching in unstructured data is rarely performed in an exact match fashion. Instead, the relationships between the data objects are described using a distance measure representing their dissimilarity. Consequently, the most used retrieval type for unstructured data is similarity search. Searching in unstructured data, however, comes with several challenges. First, the data lacks any implicit means of ordering and, therefore, must rely on many distance function computations. Next, such data suffers from the curse of dimensionality, rendering the relationships of the data objects indistinguishable when embedded into a high-dimensional space. Finally, efficient searching requires a suitable division of data into clusters, which relies heavily on the quality of computationally expensive partitioning. Despite decades of research in this domain, these challenges remain largely unresolved. Additionally, the sheer volume and pace at which various data collections are currently produced warrants special attention to properties such as scalability and dynamicity. This thesis proposal addresses these challenges by applying specific machine learning techniques to the search index structures . The idea is inspired by a successful line of research in structured data, where learned solutions outperform the traditional ones (e.g., B+-trees) on several performance metrics. This work proposes a probabilistic approach to searching in an index structure, freed from the need to perform expensive distance computations. Next, it introduces a learned data-driven index structure and applies it to the retrieval of image data. A learned index is also used in a data processing pipeline for similarity search in protein structures. Finally, in awareness of the ongoing reproducibility crisis in science, the thesis proposal presents a publication on reproducibility of the achieved results. The outcomes of all these journal and conference publications are in line with the underlying hypothesis of this work, i.e., that capturing intrinsic properties of the data using machine learning methods leads to superior similarity searching solutions, better equipped for the demands of the Big Data era.

Keywords

similarity searching, machine learning, metric space, index, learned indexing, learned metric index

Language used: English

Date on which the thesis was submitted / produced: 14. 3. 2023

Thesis defence

• Date of defence: 31. 5. 2023
• Reader: doc. RNDr. Jakub Lokoč, Ph.D., prof. Ing. Michal Krátký, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Artificial intelligence and data processing / Artificial intelligence and data processing