Explaining Features of LSTM Model Learned on Human Motion Data

Bc. Tomáš Jevočin

Master's thesis

Abstract:

Cieľom práce je vysvetliť, aké features sa model neurónovej siete LSTM naučil na základe údajov o kostre ľudského pohybu. Na získanie usporiadania dôležitosti deep features aplikujeme DeepSHAP. Následne použijeme LRP upravené pre architektúru LSTM na získanie vstupného mapovania relevancie pre ľubovoľný fixný feature, ktorý môžeme vizualizovať. Získané usporiadania funkcií potom vyhodnotíme pomocou modelu 1-NN natrénovaného a vyhodnoteného nad podmnožinami features vybranými pomocou uvedeného usporiadania. Nakoniec uvádzame viaceré vizualizácie poskytujúce rôzne vysvetlenia rozsahu lokality pre ľubovoľný fixný feature modelu.

Abstract:

The thesis aims to explain what features an LSTM neural network model learned on top of human motion skeleton data. We apply DeepSHAP to obtain deep feature importance ordering. We then use LRP adjusted for LSTM architecture to acquire input relevance mapping for any fixed feature, which we can visualize. We then evaluate the obtained feature orderings with the help of a 1-NN model trained and evaluated on top of feature subsets chosen using the said ordering. Lastly, we present multiple visualisations providing varying locality scope explanations for any fixed feature of the model.

Keywords

Explainable AI, Explainability, Human Motion Data, Deep Feature Analysis, Feature Visualisation, SHAP, DeepSHAP, LRP, RNN, LSTM

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 8. 2. 2024
• Supervisor: doc. RNDr. Jan Sedmidubský, Ph.D.
• Reader: prof. Ing. Pavel Zezula, CSc.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Big data