Explainability of Deep Learning for Genomic sequences

Bc. Jakub Poláček

Master's thesis

Abstract:

Hoci algoritmy strojového učenia vykazujú neprekonateľný prísľub v klasifikácii a detekovaní vlastností genomických dát, mnohé z uvedených algoritmov stále predstavujú výzvu v ohľade vysvetlovania ich rozhodovacích procesov. To často spôsobuje nízku dôveru k presnosti ich výsledkov. Najväčším kameňom úrazu z techník strojového učenia sú v tomto nepochybne neurónové siete. Keďže sa ukazuje, že neurónové siete prekonávajú súčasné najmodernejšie nástroje v genomike, ich nedostatočná transparentnosť je obzvlášť obmedzujúca - experti v genomike s nižšou úrovňou znalostí z oblasti strojového učenia môžu mať výhrady voči akceptovaniu takto nevysvetliteľných modelov. V tejto práci preto skúmame dostupné metódy a techniky ktoré sa pokúšajú interpretovať a vysvetliť vnútorné fungovanie konvolučných neurónových sietí. Ďalej vyberáme techniky mutagenézy in silico, Integrated Gradients a SmoothGrad, a aplikujeme ich v projektoch zameraných na genomiku vytvorených v CEITEC MU, menovite PENGUINN a ENNGene. Nakoniec diskutujeme o výsledkoch a možných zlepšeniach použitých metód.

Abstract:

While machine learning algorithms show unparalleled promise in genomic data classification and feature detection, many of said algorithms still pose a challenge in proper explanation of their decision processes. This often causes low confidence towards the veracity of their results. The biggest offenders among the class of machine learning techniques are indisputably neural networks. Since neural networks are routinely shown to outperform current state-of-the-art tools in genomics, their lack of transparency is particularly limiting - domain experts with little machine learning knowledge may be hesitant to adopt such inexplicable models. In this work, we therefore focus on exploring available methods and techniques that attempt to interpret and explain the inner workings of convolutional neural networks. Further on, we select the techniques of in silico mutagenesis, Integrated Gradients and SmoothGrad, and apply them in genomics centred projects created at CEITEC MU, namely PENGUINN and ENNGene. Finally, we discuss the results and possible improvements for the used methods.

Keywords

Machine Learning, Genomics, Integrated Gradients, In Sillico Mutagenesis, SmoothGrad, LIME, DeepLIFT, Neural Networks, Interpretability, Explainability, PENGUINN, ENNGene

Language used: English

Date on which the thesis was submitted / produced: 14. 12. 2021

Thesis defence

• Date of defence: 4. 2. 2022
• Supervisor: PhD Panagiotis Alexiou
• Reader: Mgr. Vojtěch Bystrý, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence