Whole slide image viewer for pathological data

Bc. Jiří Horák

Master's thesis

Abstract:

Oblast digitální patologie umožňuje efektivnější práci se vzorky tkáně. Digitální formát vzniká v procesu zvaném whole-slide imaging (WSI). Digitalizace umožňuje lepší ukládání vzorků tkáně, jejich metadat a práce s nimi. Podstatnou částí klinické praxe patologů je namáhavá a nezáživná inspekce vzorků, kde by zejména mohla digitalizace pomoci. S počítači je možné vzorky zpracovávat díky rychle se rozvíjejícím metodám umělé inteligence (AI). Samotné vzorky a další data se pak prohlížejí ve specializovaných aplikacích zvaných WSI prohlížeče, jenž umožňují hlavně anotování nálezů – oblastí v tkáni. Současné WSI prohlížeče bohužel neumožňují dostatečně flexibilní vizualizace dat, která vznikají při vývoji modelů AI a jejich zkoumání metodami XAI (vysvětlitelná, eXplainable AI). WSI prohlížeče jsou navíc uzpůsobeny buď klinické praxi, nebo výzkumným činnostem, a často se používá několik prohlížečů za různými účely. Patologové tedy nemají jednoduchou možnost komunikace s výzkumníky. V neposlední řadě použití existujících prohlížečů vyžaduje specifické služby, databáze, či způsoby uložení dat. Problémem jsou pak nákladné architektury pro ukládání a správu velkých objemů WSI dat. Takové architektury je často nemožné měnit. Tato diplomová práce představuje prohlížeč xOpat, který řeší výše popsané problémy, a který je open-source (otevřený software). xOpat je webová aplikace, která, díky své modulární struktuře a flexibilnímu rozhraní, umí vytvořit potřebné pracovní prostředí jak pro výzkum, tak pro klinickou praxi. xOpat podporuje anotování, optimalizované pro repetitivní úkony, umí vizualizovat velké množství dat vhodnými způsoby, a optimalizuje jejich přenos. xOpat není závislý na specifických službách, které nejsou většinou nutné pro provoz. U služeb je možné měnit použité protokoly či jejich schémata. xOpat lze tedy jednoduše upravit a integrovat do existujících architektur.

Abstract:

Digital pathology is an effective method of storing, inspecting, and analyzing tissue samples, obtained in a process called whole-slide imaging (WSI). Pathologists' work includes a laborious inspection of such slides where quickly evolving artificial intelligence (AI) can be particularly useful. WSI Viewers are software for tissue viewing, where annotation and analysis capabilities are often available. However, existing viewers lack the ability to flexibly visualize data generated by AI and especially explainable AI (XAI) algorithms that play a crucial part in understanding model decisions. WSI viewers are typically tailored to either clinical practice or research, but not both. Communication between researchers and clinicians is thus often difficult. Finally, viewers do not account for WSI architectures that are complex, costly, and often impossible to adjust. The data goes from terabytes to petabytes in size, and switching to specific services, databases, formats, or even performing data imports is not an option. This thesis presents xOpat, an open-source viewer designed to overcome the above-mentioned limitations. xOpat is a modular, browser-based application that, through sessions and plugins, supports both clinicians and researchers. It has efficient and flexible annotation, visualization, and storytelling capabilities. xOpat optimizes the WSI data transfer, and abstracts from the data service dependency. It also provides relaxed and adjustable service schemes, where most services are optional. xOpat can be therefore integrated into different architectures and easily adjusted to given needs.

Keywords

WSI, digital pathology, viewer, OpenSeadragon, visualization, annotations, storytelling, TIFF, DeepZoom, analysis, WebGL, GLSL, neural networks, prediction, cancer, tissue, prostate, JPEG2000, IIPImage, Cypress, Docker

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 20. 6. 2023
• Supervisor: doc. RNDr. Barbora Kozlíková, Ph.D.
• Reader: doc. RNDr. David Svoboda, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Visual informatics / Computer graphics and visualisation