Fast Similarity Searching of Text Documents using Learned Metric Index

Bc. Jakub Žovák

Bachelor's thesis

Abstract:

Textové dokumenty, ako sú blogy, statusy na sociálnych sieťach, spravodajské články, eseje a textové správy, predstavujú jeden z hlavných zdrojov informácií na internete. Preto je mimoriadne dôležité takéto dáta efektívne indexovať a vyhľadávať. Keďže sú však textové objekty rozsiahle a komplexné, hľadanie presnej zhody je prakticky nemožné. Preto sa tieto objekty musia vyhľadávať na základe podobnosti, aby sa získali najrelevantnejšie dokumenty na zodpovedanie používateľských dotazov. Táto práca skúma možnosti spravovania textových dát pomocou takzvaných learned indexes structures. Tieto štruktúry predstavujú novú paradigmu dátových modelov, ktoré využívajú silu strojového učenia v databázových systémoch. Jeden takýto model s názvom Learned Metric Index sa používa v tejto práci na indexovanie a vyhľadávanie v súbore esejí. Cieľom práce je experimentálne vyhodnotiť výkonnosť tohto dátového modelu a preskúmať, či je použiteľný pre textové dokumenty v praxi.

Abstract:

Text documents such as blog posts, tweets, news articles, essays, and text messages, represent one of the primary sources of information on the internet. Therefore, it is paramount to index and search such data efficiently. However, since these objects are large and complex, searching for an exact match is practically impossible. Therefore, text objects must be searched based on the notion of similarity in order to retrieve the most relevant documents to answer the user queries. This thesis explores the possibility of managing textual data with learned index structures. They represent the new paradigm of data models that leverage the power of machine learning in database management systems. One such model called Learned Metric Index is used to index and search the dataset of essays. Experiments are conducted to test and evaluate the performance of this data model and examine whether it is applicable for text documents in practice.

Keywords

similarity searching, learned indexes, learned metric index, machine learning, NLP, text similarity

Language used: English

Date on which the thesis was submitted / produced: 19. 5. 2022

Thesis defence

• Date of defence: 29. 6. 2022
• Supervisor: RNDr. Matej Antol, Ph.D.
• Reader: Mgr. Miriama Jánošová

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics