Explainable image classification based on word embeddings

Julija Jeršova

Diplomová práce

Vysvětlitelná klasifikace obrazových dat na základě slovních embeddingů

Anotace:

S rostoucím začleněním systémů umělé inteligence do reálných aplikací je potřeba transparentnosti a důvěry uživatelů důležitější než kdy dříve. V oblasti počítačového vidění představuje jeden z hlavních problémů vysvětlování rozhodnutí modelu způsobem, který je přesný a zároveň srozumitelný i pro neodbornou veřejnost. Tato diplomová práce představuje novou metodu, která vytváří vizuální vysvětlení pomocí jednoduchého matematického uvažování, a to formou ohraničujících boxů (bounding boxes), které zvýrazňují relevantní oblasti na obrázku. Cílem bylo navrhnout techniku, která je interpretovatelná již ze své podstaty a zároveň snadno vyhodnotitelná. Za tímto účelem rozšiřujeme přístup SMER (Self Model Entities Related) a přizpůsobujeme jej obrazovým datům tím, že propojujeme důležitost jednotlivých slov s odpovídajícími prostorovými oblastmi v obraze. Výsledné ohraničující boxy jsou hodnoceny pomocí komplexního souboru metod. Pro toto hodnocení jsme použili dataset obsahující celkem 13 355 obrázků. Pro kvantitativní hodnocení byla použita metrika AOPC (Area Over the Perturbation Curve), která měří efektivitu vysvětlení z hlediska zachování výkonnosti modelu. Kvalitativně porovnáváme vysvětlení založená na SMER s metodou LIME (Local Interpretable Model-Agnostic Explanations) pomocí logistické regrese a s heatmapami založenými na metodě MoRF (Most Relevant First) pomocí klasifikátoru ResNet, abychom posoudili míru interpretovatelnosti. Kromě toho jsme provedli rozsáhlé uživatelské hodnocení napříč jazyky. V tomto dotazníku 270 účastníků hodnotilo vizuální vysvětlení—včetně ohraničujících boxů a heatmap—v rámci deseti kategorií objektů a poskytlo otevřenou zpětnou vazbu k jejich srozumitelnosti a přehlednosti. Výsledky ukazují, že ohraničující boxy vytvořené naší metodou jsou obecně vnímány jako srozumitelnější než heatmapy. Přestože přístup vykazuje výrazný potenciál, naráží na určitá omezení při aplikaci na obrázky s více objekty nebo abstraktními pojmy. Přesnost ohraničujících boxů je navíc do určité míry omezena schopnostmi současných jazykových modelů, což by se však s jejich dalším vývojem mělo zlepšovat. Celkově výsledky naznačují, že jednoduché a vysvětlitelné modely mohou být silnými nástroji pro zlepšení interpretovatelnosti systémů umělé inteligence.

Abstract:

As artificial intelligence systems become increasingly integrated into real-world applications, the need for transparency and user trust has never been greater. In computer vision, one of the main challenges is to explain model decisions in a way that is both accurate and understandable to non-expert users. This thesis introduces a novel method that generates visual explanations using simple mathematical reasoning, producing bounding boxes to highlight relevant areas in an image. The goal was to create a technique that would be interpretable by design and easy to evaluate. We extend the SMER (Self Model Entities Related) approach and adapt it to image data by linking word-level importance to spatial regions. The resulting bounding boxes are evaluated using a comprehensive set of strategies. To evaluate the proposed approach, we used a dataset containing a total of 13,355 images. Quantitatively, we applied the AOPC (Area Over the Perturbation Curve) metric to assess the effectiveness of explanations in preserving model performance. Qualitatively, we compare SMER-based explanations with LIME (Local Interpretable Model-Agnostic Explanations) using a logistic regression classifier, and with MoRF-based (Most Relevant First) heatmaps using a ResNet classifier to benchmark interpretability. In addition, we conducted a large-scale, multilingual human-centered evaluation. In this survey, 270 participants rated visual explanations---including bounding boxes and heatmaps---across ten categories of objects and provided open-text feedback on their understandability and clarity. The findings indicate that bounding boxes generated by our method are generally perceived as more understandable than heatmaps. While the approach shows strong potential, it faces limitations when applied to images with multiple objects or abstract concepts. Additionally, the precision of bounding boxes is constrained by the capabilities of current language models, though this is likely to improve as the models evolve. Overall, the results suggest that simple, explainable models can be powerful tools in advancing the interpretability of AI systems.

Klíčová slova

LIME, vysvětlitelná klasifikace obrazů, slovní vektorové reprezentace, SMER, heatmapa, MoRF, LLM, ohraničující box

Keywords

word embeddings, SMER, LIME, explainable image classification, MoRF, LLM, bounding box, heatmap

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 4. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 4. 6. 2025
• Vedoucí: Tomáš Kliegr
• Oponent: Lukáš Sýkora

Vysoká škola ekonomická v Praze

Magisterský studijní program:
Kognitivní informatika