Metric Learning for Advanced Image Content Descriptors

Bc. Marek Mahrík

Bachelor's thesis

Abstract:

Podobnosť je subjektívna a závislá na kontexte. Zatiaľ čo Euklidovská vzdialenosť poskytuje objektívne miery, nedokáže zachytiť subjektívne podobnosti kľúčové pre personalizované vyhľadávanie obrázkov. Mahalanobisova vzdialenosť využíva svoju kovariančnú maticu na lepšie zachytenie tejto subjektivity, ktorá sa dá naučiť pomocou metód metrického učenia. Táto práca skúma vzťah medzi Euklidovskou a Mahalanobisovou vzdialenosťou, pretože Euklidovská vzdialenosť môže pôsobiť ako dolné ohraničenie pre Mahalanobisovu vzdialenosť. K tomuto bola vykonaná teoretická analýza a experimentálna validácia pomocou pokročilých obrazkových deskriptorov z laboratória DISA. Využitím metrického učenia sme naučili viacero matíc na počítanie Mahalanobis vzdialenosti a experimentálne sme potvrdili teoretický dolno ohraničujúci vzťah medzi týmito dvoma vzdialenosťami, ale odhalili sme horšiu výkonnosť v praxi. Výsledky naznačujú, že hoci je koncept spodného ohraničenia platný, je potrebný ďalší výskum na zlepšenie jeho praktického využitia.

Abstract:

Similarity is subjective and context-dependent. While Euclidean distance provides objective measures, it fails to capture the subjective similarities crucial for personalized image retrieval. Mahalanobis distance, on the other hand, uses its covariance matrix to better capture this subjectiveness, which can be learned using metric learning methods. This thesis investigates the relationship between Euclidean and Mahalanobis distances, where Euclidean distance can act as a lower bound for the Mahalanobis distance. We conduct theoretical analysis and experimental validation using advanced transformer image descriptors from the DISA laboratory. By leveraging metric learning, we learned multiple Mahalanobis distance matrices, and experimentally confirmed the theoretical lower-bounding relationship between the two distances, but revealing performance limitations in practice. The results suggest that although the lower-bounding concept is valid, further research is necessary to improve its practical usage.

Keywords

metric learning, euclidean distance, mahalanobis distance, scaling factor, lower-bound, similarity search, image descriptors

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2024

Thesis defence

• Date of defence: 25. 6. 2024
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: RNDr. Vladimír Míč, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics