Explaining neural-network controllers by concept identification

Bc. Martin Dražkovec

Bachelor's thesis

Anotácia:

Neuronové siete sa často používajú na učenie riadiacich jednotiek kyberneticko-fyzikálnych systémov, avšak ich vysvetliteľnosť je veľmi obmedzená. Na riešenie tohto problému boli navrhnuté metódy vysvetľovania založené na identifikácii konceptov vyššej úrovne v rámci neurónovej siete. Táto práca vychádza z nedávneho prístupu, ktorý posudzuje relevantnosť konceptu pre neurónovú sieť meraním korelácie medzi chybami siete a chybami klasifikátora konceptu trénovaného na aktiváciách z predposlednej vrstvy siete. Úloha konceptu pri inferencii neurónovej siete sa potom odvodzuje z typov týchto spoločných chýb. Pre spresnenie tejto metódy zavádzame doplnkové techniky a vykonávame komplexné vyhodnotenie pomocou skutočných benchmarkových datasetov. Analýza zdôrazňuje silné stránky a explicitne poukazuje na obmedzenia tohto prístupu – konkrétne na jeho neschopnosť analyzovať modely a klasifikátory konceptov, ktoré dosahujú takmer stopercentnú presnosť, ako aj na dve triedy konceptov, ktoré sú nesprávne posúdené ako relevantné pre neurónovú sieť. Ďalej je skonštruovaná aproximácia pôvodnej siete rozhodovacím stromom, ktorý využíva identifikované relevantné koncepty ako predikáty vo svojich vnútorných uzloch. Hodnotí sa vernosť tohto náhradného modelu pri replikácii správania siete, spolu s jeho špecifickosťou pre konkrétnu vysvetľovanú sieť.

Abstract:

Neural networks are often used for learning controllers of cyber-physical systems, yet their explainability is very limited. To address this, explanation methods based on identifying higher-level concepts within the neural network have been proposed. This work builds on a recent approach that assesses the relevance of a concept to a neural network by measuring the correlation between the errors of the network and those of the concept classifier trained on activations from the network’s penultimate layer. The role of the concept in the network's decision-making is then inferred from the types of these shared errors. Complementary techniques are introduced to refine this method, and a comprehensive evaluation is conducted using real-world benchmark datasets. The analysis highlights both the strengths and explicitly points out the limitations of this approach — specifically, its inability to handle near-perfect models and concept classifiers, as well as two classes of concepts incorrectly judged as relevant to the neural network. Furthermore, a decision tree approximation of the original network is constructed, using the identified relevant concepts as predicates in its internal nodes. The fidelity of this surrogate model in replicating the network’s behavior is evaluated, along with its specificity to the particular network being explained.

Keywords

neural network, explainability, decision tree, concept, CAV

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 23. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2025
• Vedúci: prof. Dr. rer. nat. RNDr. Mgr. Bc. Jan Křetínský, Ph.D.
• Oponent: doc. Mgr. Jan Obdržálek, PhD.

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Informatics / Informatics