Explainability of neural networks via higher-level concepts

Bc. Stanislav Jurík

Bachelor's thesis

Abstract:

Neurónové siete dosahujú pozoruhodnú presnosť v najrôznejších úlohách, no zostávajú netransparentné, čo bráni ich využitiu v bezpečnostne kritických oblastiach, kde je nevyhnutné transparentné zdôvodnenie rozhodnutí. Táto práca predstavuje prístup založený na konceptoch na interpretáciu predikcií neurónových sietí prostredníctvom konceptov vyšších úrovní. Kandidátne koncepty získavame z predikátov kompaktného rozhodovacieho stromu, následne lokalizujeme každý koncept v predposlednej vrstve natrénovanej doprednej siete ako váženú kombináciu viacerých neurónov za pomoci aktivačných vektorov konceptov (Concept Activation Vectors, CAV). Na overenie, či je koncept skutočne reprezentovaný a využívaný sieťou, zavádzame dvojfázový evaluačný mechanizmus. Najprv meriame prítomnosť konceptu pomocou makro F1 skóre každého CAV. V druhej fáze kvantifikujeme relevantnosť konceptu koreláciou chýb klasifikácie CAV s chybami samotnej siete, pričom používame Matthewsov korelačný koeficient a vzájomnú informáciu. Náš prístup porovnávame s aktuálnou metódou TCAV. Ďalej analyzujeme spoločné nesprávne klasifikácie pomocou matice chýb, aby sme určili, ako jednotlivé koncepty prispievajú k špecifickým zámenám tried.

Abstract:

Neural networks achieve remarkable accuracy across diverse tasks but remain opaque, hindering their adoption in safety-critical domains where transparent decision reasoning is essential. This thesis presents a concept-based framework for interpreting neural network predictions via higher-level concepts. We recruit candidate concepts from the predicates of a compact decision tree, then localize each concept in the penultimate layer of a trained feedforward network as a weighted combination of multiple neurons using Concept Activation Vectors (CAVs). To assess whether a concept is truly represented and utilized by the network, we introduce a two-stage evaluation pipeline. First, we measure concept presence with the macro F1 score of each CAV. Second, we quantify concept relevance by correlating CAV classification errors with the network’s own mistakes, using the Matthews Correlation Coefficient and mutual information. We compare our approach with the state-of-the-art TCAV method. We further analyze shared misclassifications through confusion matrices to pinpoint how individual concepts contribute to specific class confusions.

Keywords

neural network, explainability, concept, decision tree, CAV, correlation

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2025

Thesis defence

• Date of defence: 23. 6. 2025
• Supervisor: prof. Dr. rer. nat. RNDr. Mgr. Bc. Jan Křetínský, Ph.D.
• Reader: doc. Mgr. Jan Obdržálek, PhD.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics