Stability of explainability techniques for deep neural networks in digital pathology

Bc. Adam Oprchal

Bakalářská práce

Anotace:

S rozvojem modelů hlubokého učení roste potřeba lépe porozumět jejich chování, zejména v kritických oblastech, jako je digitální patologie. Bylo navrženo několik metod vysvětlitelnosti, které mají tento problém řešit. V mojí práci představuji nový přístup k pochopení a vyhodnocení klasifikačních modelů obrazu pomocí vysvětlitelnostních metod s cílem získat hlubší vhled do jejich rozhodování. Při tomto vyhodnocení se používají vysvětlitelnostní metody ke sledování chování modelu během tréninku. Zaměřuji se na výstupy metod, známé jako salienční mapy, a tvrdím, že pro dobře fungující modely by se neměly během tréninku příliš často nebo náhle měnit. Tento koncept označuji jako stabilitu vysvětlení modelu. Pro její kvantifikaci navrhuji algoritmus, který měří, jak moc se vysvětlení mění na základě znamének hodnot pixelů salienčních map. Stabilitu vizualizuji podobně jako saliencní mapy, abych lépe pochopil případné nestabilní chování a identifikoval nestabilní rysy, což by mohlo vést ke zlepšení modelu. Nakonec tento přístup implementuji a vyhodnocuji na konvolučním modelu ke klasifikaci rakoviny prostaty vyvinutém výzkumnou skupinou RationAI s použitím dvou vysvětlitelnostních metod—Class Activation Mappingu a Okluze—a docházím k závěru, že vysvětlení modelu jsou stabilní.

Abstract:

With the rise of deep learning models, there is a growing need to better understand their behavior, especially in critical fields such as digital pathology. Consequently, several explainability methods have been proposed to address this challenge. In this thesis, I introduce a new approach for understanding and evaluating image classification models using such methods, with the goal of gaining deeper insights into their decision-making. This evaluation is conducted by using these explainability methods to monitor model behavior during training. I focus on the outputs of the methods, known as saliency maps, and argue that for well-performing models, they should not change too frequently or abruptly during training. I refer to this concept as the stability of model explanations. To quantify it, I propose an algorithm that measures how much the explanations vary based on changes in the signs of saliency map pixel values. I visualize this metric similarly to saliency maps to better understand any unstable behavior and potentially identify unstable features, which could lead to model improvements. Finally, I implement and evaluate this approach on a convolutional prostate cancer classification model developed by the RationAI research group, using two explainability methods—Class Activation Mapping and Occlusion—and conclude that the model explanations are stable.

Keywords

deep learning, neural networks, digital pathology, explainability, CAM, Occlusion

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2025
• Vedoucí: RNDr. Vít Musil, Ph.D.
• Oponent: doc. Mgr. Jan Obdržálek, PhD.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Informatika