Probability of outliers and its effects on effectiveness of similarity searching

Markéta Křenková

Bachelor's thesis

Abstract:

Efektivní vyhledávání podobných objektů ve velkém množství dat je vyžadováno v mnoha aplikačních doménách. Mnoho technik podobnostního vyhledávání je založeno na geometrickém konceptu metrického prostoru. Objekty jsou obvykle reprezentovány jako vektory a jejich podobnost se měří jako jejich vzdálenost v prostoru. Tato metoda však přesně neodpovídá lidskému vnímání podobnosti komplexních dat, jako jsou obrázky, videa, zvuky, texty apod. Lidé vnímají podobnost odlišně v různých kontextech — to, co berou v úvahu při porovnávání objektů. Tato práce zkoumá dvě techniky měření prostorové hustoty objektů (spatial density) za účelem zlepšení podobnostního vyhledávání. K výpočtu prostorové hustoty objektu nejprve použijeme skóre "odlehlosti" tohoto objektu (local outlier factor). Jako druhou techniku k výpočtu hustoty použijeme kardinalitu sketche objektu (sketche porovnávané Hammingovou vzdáleností jsou jiná technika podobnostního vyhledávání). Přínosem této práce je implementace nové funkce vzdálenosti, která zohledňuje kontext porovnávaných objektů. Používáme několik metod k potvrzení, že tato funkce zlepšuje podobnostní vyhledání, takže více odpovídá lidskému vnímání podobnosti.

Abstract:

Effective searching for similar objects in large datasets is required in many application domains. Many similarity search techniques are based on the geometric concept of metric space. Objects are typically represented as vectors; their similarity is determined by their distance in the space. However, this method does not match human perception of similarity exactly for complex data like images, videos, sounds, texts, etc. People perceive similarity differently in different contexts — what they take into consideration while comparing the objects. This thesis investigates two techniques of measuring the spatial density of an object to improve similarity search. We use a score of "outlieriness" of an object to compute its spatial density. Then we inspect a cardinality of a sketch of an object (sketches combined with Hamming distance are another similarity search technique). The contribution of this work is an implementation of a new distance function that considers the context of the compared objects. We use several methods to confirm that the new distance function improves similarity search so it corresponds to human perception of similarity.

Keywords

Similarity Search, Metric Space, Distance Density Model, Euclidean Distance Function, Context Dependent Distance Function, Local Outlier Factor, Binary Sketch

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2021

Thesis defence

• Date of defence: 28. 6. 2021
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: RNDr. Michal Batko, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Applied Informatics / Applied Informatics