Explaining Features of LSTM Model Learned on Human Motion Data

Bc. Tomáš Jevočin

Master's thesis

Anotácia:

Cieľom práce je vysvetliť, aké features sa model neurónovej siete LSTM naučil na základe údajov o kostre ľudského pohybu. Na získanie usporiadania dôležitosti deep features aplikujeme DeepSHAP. Následne použijeme LRP upravené pre architektúru LSTM na získanie vstupného mapovania relevancie pre ľubovoľný fixný feature, ktorý môžeme vizualizovať. Získané usporiadania funkcií potom vyhodnotíme pomocou modelu 1-NN natrénovaného a vyhodnoteného nad podmnožinami features vybranými pomocou uvedeného usporiadania. Nakoniec uvádzame viaceré vizualizácie poskytujúce rôzne vysvetlenia rozsahu lokality pre ľubovoľný fixný feature modelu.

Abstract:

The thesis aims to explain what features an LSTM neural network model learned on top of human motion skeleton data. We apply DeepSHAP to obtain deep feature importance ordering. We then use LRP adjusted for LSTM architecture to acquire input relevance mapping for any fixed feature, which we can visualize. We then evaluate the obtained feature orderings with the help of a 1-NN model trained and evaluated on top of feature subsets chosen using the said ordering. Lastly, we present multiple visualisations providing varying locality scope explanations for any fixed feature of the model.

Keywords

Explainable AI, Explainability, Human Motion Data, Deep Feature Analysis, Feature Visualisation, SHAP, DeepSHAP, LRP, RNN, LSTM

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 15. 12. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 8. 2. 2024
• Vedúci: doc. RNDr. Jan Sedmidubský, Ph.D.
• Oponent: prof. Ing. Pavel Zezula, CSc.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Big data