Interpretation of artificial neural networks for image recognition

Alexey Ulyanin

Master's thesis

Interpretace umělých neuronových sítí pro účely klasifikace obrazu

Abstract:

Tato práce se zabývá problematikou interpretace neuronových sítí v úlohách klasifikace obrazu. Práce je inspirována publikací paní profesorky Michaely Wänke, která se zabývala otázkou, zda jsou lidé schopní odhadnout, jestli je politik na fotce demokrat nebo republikán (Wänke, 2015). První část je věnována metodologii pro klasifikaci obrázků. Ve druhé části je stručně popsána publikace paní profesorky Michaely (Wänke, 2015). Druhá část je také věnována metodologii hlubokého Taylorova rozvoje. Tato metoda byla představena (Montavon et al., 2017) a slouží k interpretaci deep learningových modelů a neuronových sítí obecně. Napříč analýzou jsou použita veřejná data v podobě oficiálních fotografií amerických a britských politiků. Data byly staženy z www.wikipedia.org pomocí technologie pro scraping webu. Během analýzy byl při optimalizaci neuronové sítě a pro hodnocení experimentů využit hluboký Taylorův rozvoj. Hlavním cílem této práce je určit, pomocí neuronových sítí a metodologie popsané v Montavon et al., 2017, co rozlišuje příslušnost osoby na fotce k pravicové nebo levicové politické ideologii. Hlavní cíl se skládá ze tří dílčích cílů: provedeni přehledu literatury o umělých neuronových sítích a jejich interpretovatelnosti pomoci metod, jako jsou ty založené na Taylorůvě rozvoji; natrénovani neuronové sítí pro vybraný problém; provedení analýzy rozhodovacích hranic vyškoleného ANN pomocí zvoleného algoritmického přístupu pro vysvětlení rozhodnutí ANN. Tento výzkum může přispět k lepšímu porozumění předsudků v mezilidských interakcích.

Abstract:

This thesis studies the problem of neural networks interpretation in image classification tasks. It is inspired by the publication by professor Michaela Wänke (2015), who was trying to find the answer to the question if people are capable of correctly identifying, whether politician in the photo is Republican or Democrat. The first part covers the methodology needed in image recognition tasks. The second part briefly goes through the main ideas in Wänke,2015, but it also covers deep Taylor decomposition method proposed by Montavon et al., 2017. Deep Taylor decomposition is used in deep learning models (and neural networks in general) interpretation. Data used in the analysis are official photos of American and British politicians, downloaded from www.wikipedia.org with the use of web scraping technologies. In the part of analysis, deep Taylor decomposition was used during neural network optimization and for experiments' results evaluation. The main goal of this thesis is, with the help of neural networks and methodology proposed by Montavon et al., 2017, to define what are the signs, that could possibly give out the political ideology of the person in the photo. The main goal consists of three intermediate goals: review literature on Artificial Neural Networks (ANNs) and the interpretability of ANNs, such as those based on Deep Taylor decomposition; train a classificational neural network for the selected problem; perform the analysis of decision boundaries of the trained ANN using the selected algorithmic approach for explaining ANN decisions. This research can contribute to better understanding of biases applied in interpersonal interactions.

Keywords

interpretace neuronových sítí, strojové účení, hluboký Taylorův rozvoj, klasifikace obrazu, politická ideologie

Keywords

machine learning, neural networks interpretation, deep Taylor decomposition, image recognition, political ideologies

Language used: English

Date on which the thesis was submitted / produced: 15. 11. 2018

Thesis defence

• Date of defence: 27. 8. 2020
• Supervisor: Tomáš Kliegr
• Reader: Miroslav Rada

Vysoká škola ekonomická v Praze

Master programme / field:
Kvantitativní metody v ekonomice / Ekonometrie a operační výzkum