Pathological Image Analysis Using Attention Based Deep Learning Methods

Bc. Petr Kantek

Bachelor's thesis

Abstract:

Metody hlubokého učení založené na attention byly v posledních letech v centru pozornosti. Ale teprve nedávno byla v computer vision použita čistá attention. Výsledné úsilí vykrystalizovalo do typu neuronové sítě zvané Vision Transformer (ViT). V této práci představíme ViT, abychom využili jeho jedinečných charakteristik v klasifikaci rakoviny na patologických obrázcích (WSI). Porovnáme více konfigurací, buď čisté ViT, nebo odvozené modely, které kromě attention využívají další typy vnitřních modelů a provedeme značné množství experimentů, abychom zmapovali dosud neznámé možnosti ViT. Nejlepším modelem se stal předtrénovaný ViT na Imagenet a Imagenet21k s 12 transformer bloky, který dosáhl přesnosti 93% na testovacím datasetu a ROC-AUC 0.98 na validačním datasetu. ViT stále zaostává za VGG-16, současným nejlepším modelem na stejném datasetu, což mohlo být způsobeno výhodou VGG-16 oproti ViT ve formě indukčních biasů, které se ViT nedokázal na daném datasetu naučit. Přesto ViT dosáhl velmi slibných výsledků pro jejich budoucí využití v digitální patologii.

Abstract:

Attention based deep learning methods have been in the limelight in the last years. But only recently, pure attention has been used in computer vision tasks. The resulting effort crystallized into a neural network architecture called Vision Transformer (ViT). In this thesis, we dive into the internals of ViT in order to get the advantage of its unique characteristics in cancer classification of pathological whole slide images (WSIs). We compare multiple configurations, either pure ViTs or their derivatives that utilize additional inner models besides attention and try out a large scale of experiments to chart out the so far unknown waters of ViTs. The best performing model happened to be a pretrained ViT on Imagenet and Imagenet21k with 12 transformer blocks that achieved over 93% accuracy on the Prostate test dataset and a validation ROC-AUC of 0.98. The ViT still lacks behind VGG-16, the current best model on the same dataset, which may have been due to the advantage of VGG-16 over the ViT in the form of inductive biases, which the ViT was not able to learn from the dataset. Nevertheless, ViTs have exerted very promising results in their future utilization in digital pathology.

Keywords

attention, cancer, classification, deep learning, digital pathology, machine learning, neural networks, vision transformer

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2021

Thesis defence

• Date of defence: 28. 6. 2021
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: RNDr. David Wiesner

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing