Semantic segmentation of histopathology images

Bc. Tomáš Jelínek

Master's thesis

Abstract:

Sémantická segmentace histopatologických obrázků se ukazuje jako obtížný problém kvůli vysoké složitosti dat: komplexní morfologie tkání, nepřesnost anotací od experta, z charakteristiky problému přirozeně vyplývající nutnost abstrakce na více škálách a mnohé další. Hluboké učení vedlo k několika úspěšným modelům pro specifické segmentační problémy. Tato diplomová práce dále prozkoumává užití hlubokého učení pro sémantickou segmentaci histopatologických obrázků. Regiony určené k rozpoznání jsou definovány na základě anotací patologa množiny obrázků histopatologických slidů. Anotace rozlišují následující sémantické třídy: adenokarcinom, normální sliznice, pojivá tkáň, krev a cévy, tuk, průřezová a podélná sekce svalu, nerv a zánět. Tato práce obsahuje přehled existujících přístupů pro analýzu histopatologických obrázků. Dále obsahuje návrh několika modelů neuronových sítí a jejich tréninku pro daný problém. Obsahem je dále návrh a analýza heuristiky pro rychlé zpracování homogenních oblastí, a heuristika pro vyhlazování segmentace. Práce dále obsahuje vyhodnocení navržených modelů hlubokého učení na základě Jaccardova indexu a obsahuje evaluaci od profesionálního patologa. Přiložený kód implementuje celou posloupnost operací, od extrakce trénovacích dat, přes segmentační algoritmus až po evaluaci.

Abstract:

Segmentation of histopathology images proves to be a challenging problem because of the high complexity of the data: complex tissue morphology, imprecision of the expert annotation, and inherent multi-resolution nature of the target concept, to name just a few aspects. The deep learning approach led to several successful models for tackling specific segmentation problems. This thesis further explores the use of deep neural networks for the semantic segmentation of histopathology images. The regions to be recognized are defined based on a pathologist's annotation of regions in a set of whole-slid images. The annotations discriminate these semantic classes: adenocarcinoma, normal mucosa, connective tissue, blood and blood vessels, fat, muscle cross-section, muscle longitudinal section, nerve, and inflammation. The thesis reviews existing approaches for histopathology image analysis. It proposes several neural network models and their training procedure, proposes and analyses heuristics for processing large homogeneous areas, and heuristics for smoothing the segmentation. The thesis evaluates the deep learning models based on the Jaccard index and contains an expert's evaluation by a professional pathologist. Furthermore, the code attached to the thesis implements the entire pipeline, from the extraction of the training data, through the segmentation algorithm to the evaluation.

Keywords

deep learning, computational pathology, computer vision, semantic segmentation

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 23. 6. 2022
• Supervisor: doc. Ing. Vlad Popovici, PhD
• Reader: doc. RNDr. Petr Matula, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence