Explainable Similarity Search in Image Data Collections

Bc. Matúš Šikyňa

Master's thesis

Abstract:

Umelá inteligencia čoraz viac ovplyvňuje náš každodenný život v rôznych oblastiach od zdravotnej starostlivosti po inteligentnú dopravu. Pochopenie jej mechanizmov sa čoraz viac stáva kľúčovým. Najmä v oblasti počítačového videnia, prinášajú aplikácie ako rozpoznávanie obrázkov alebo ich vyhľadávanie revolúciu v tom, ako pracujeme s obrázkovými dátami. Väčšina aplikácií počítačového videnia zahŕňa konvolučné neurónové siete alebo transformátory určené pre počítačové videnie, ktoré sa vyznačujú svojimi schopnosťami spracovávať vizuálne informácie a extrahovať vizuálne deskriptory. Avšak zložitosť týchto modelov často vedie k tomu, že sú vnímané ako "čierne skrinky", zahmlievajúc ich rozhodovací proces. Skúmanie vysvetliteľnosti týchto pokročilých modelov umelej inteligencie je preto nevyhnutné. Cieľom tejto práce je naštudovať problém vysvetliteľnosti v obrázkových dátach, sústrediac sa na koncepty konvolučných a transformačných extraktorov obrázkových deskriptorov a integrovať typické metódy vysvetliteľnosti do prototypu s využitím knižnice MESSIF a obrázkovej kolekcie poskytnutej laboratóriom DISA. Najprv je preskúmaná vysvetliteľnosť, konkrétne v oblastiach konvolučných neurónových sietí, transformátoroch pre počítačové videnie a CLIP modeli, predstavením prehľadu 26 rôznych metód vysvetliteľnosti. Ďalej sú tieto koncepty prakticky aplikované vývinom prototypu na vyhľadávanie obrázkov na základe podobnosti, ktorý integruje šesť vybraných metód vysvetliteľnosti. Integrácia účinne ukazuje, ako možno vysvetliteľnosť uplatniť v praxi a poskytuje spôsob pre štúdium problému vysvetliteľnosti v systémoch na vyhľadávanie obrázkov na základe podobnosti.

Abstract:

As artificial intelligence increasingly impacts our daily lives in areas ranging from healthcare to intelligent transportation, understanding its mechanisms has become crucial. Particularly in computer vision, applications like image recognition or image retrieval are revolutionizing how we interact with image data. Most computer vision applications include Convolutional Neural Networks or Vision Transformers, notable for their exceptional abilities in processing visual information and extracting visual feature descriptors. However, the complexity of these models often results in them being perceived as "black boxes", obscuring their decision-making processes. Exploring the explainability of these advanced AI models is essential. The thesis aims to study the problem of explainability in image data, considering both convolutional and transformer concepts of image descriptor extractors, and integrate typical XAI methods into a prototype using the MESSIF library and an image collection available from the DISA laboratory. Firstly, XAI is explored, particularly within the realms of CNNs, ViTs and the CLIP model. A comprehensive survey of 26 different explainability methods is presented. Furthermore, these concepts are practically applied by developing the prototype for an image similarity search system. This prototype integrates six selected XAI methods into the system. The integration effectively demonstrates how explainability can be applied in practice and provides a way to study the problem of explainability in image data similarity search systems.

Keywords

Explainable Artificial Intelligence, Image Data Similarity Search System, Convolutional Neural Networks, Vision Transformers, CLIP Model, MESSIF

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 8. 2. 2024
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: doc. RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Big data