Vysvětlitelnost modelů pro zpracování obrazu pomocí lokální selekce vlastností

Bc. David Halmazňa

Bachelor's thesis

Explainability of Image Processing Models using Local Feature Selection

Abstract:

Hluboké neuronové sítě dosahují špičkových výsledků v řadě úloh počítačového vidění, jejich netransparentní způsob rozhodování však komplikuje nasazení v citlivých oblastech, jako je lékařské zobrazování nebo autonomní řízení. Současné black-box metody vysvětlitelné umělé inteligence (XAI) zpravidla produkují rozptýlené teplotní mapy nebo nespojité segmenty, jež je obtížné interpretovat jako ucelený důvod predikce. Tato práce představuje framework formulující extrakci vysvětlení jako problém diskrétní kombinatorické optimalizace nad grafem sousednosti superpixelů. Pomocí heuristických vyhledávacích algoritmů odvozených od Monte Carlo Tree Search a Upper Confidence Bounds framework identifikuje prostorově souvislý podgraf s maximálním vlivem na výstup modelu. Framework hodnotíme vůči referenčním XAI metodám na syntetických, přirozených i patologických datech; ve věrnosti vysvětlení se srovnatelným metodám vyrovná nebo je překonává—přičemž jako jediný zaručuje prostorovou spojitost výstupních oblastí.

Abstract:

Deep neural networks achieve state-of-the-art performance across many vision tasks, but their opaque decision-making limits adoption in high-stakes domains such as medical imaging and autonomous driving. Existing black-box Explainable AI (XAI) methods typically produce scattered heatmaps or disconnected segments that are difficult to interpret as a coherent structural reason for a prediction. This thesis introduces a framework that formulates explanation extraction as a discrete combinatorial optimization problem over a region adjacency graph of superpixels. Using heuristic search algorithms based on Monte Carlo Tree Search and Upper Confidence Bounds, the framework discovers the spatially connected subgraph that most strongly influences the model's output. We evaluate the approach against state-of-the-art baselines across synthetic, natural-image, and digital pathology datasets, matching or outperforming established competitors in faithfulness metrics while providing a strict spatial connectedness guarantee that none of the evaluated baselines enforce.

Keywords

vysvětlitelná AI, zpracování obrazu, selekce příznaků, strojové učení, neuronové sítě, explainable AI, image processing, feature selection, machine learning, neural networks

Language used: English

Date on which the thesis was submitted / produced: 12. 5. 2026

Thesis defence

• Date of defence: 18. 6. 2026
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: Mgr. Markéta Barać Makarová

Masaryk University

Faculty of Science

Bachelor programme / field:
Mathematics / Modelling and computations