Cell Nuclei Instance Segmentation with Shape Descriptors

Bc. Matěj Pekár

Bachelor's thesis

Abstract:

Segmentace jader na histopatologických snímcích je klíčovým úkolem digitální patologie s aplikacemi v diagnostice rakoviny a plánování léčby. Navzdory pokrokům ve vývoji strojového učení čelí stávající přístupy nedostatkům v oblasti výpočetní škálovatelnosti a efektivity. Tato práce přináší novou metodu LSP-DETR (Local Star Polygon DEtection TRansformer) pro segmentaci jader, založenou na metodě DETR, která kombinuje deskriptory tvaru ve formě hvězdicovitě-konvexních polygonů s detekcí založenou na transformerech. Díky využití relativních pozičních informací a lokálního kontextu, umožňuje LSP-DETR škálovatelnou, efektivní a end-to-end segmentaci instancí bez potřeby post-processingu. Experimenty na veřejně dostupných datasetech (PanNuke, MoNuSeg a MoNuSAC) ukazuje, že přestože LSP-DETR nedosahuje nejlepší přesnosti segmentace, nabízí rozumnou přesnost s minimálním počtem parametrů a výrazně zvyšuje rychlost inference, přičemž dosahuje desetinásobného zrychlení ve srovnání s metodami jako StarDist.

Abstract:

Nuclei segmentation in histopathological images is a critical task for digital pathology, with applications in cancer diagnosis and treatment planning. Despite advancements in deep learning, existing approaches face limitations in scalability, and computational efficiency. This work proposes LSP-DETR (Local Star Polygon DEtection TRansformer), a novel DETR-based framework for nuclei instance segmentation that combines star-convex polygon shape descriptors with transformer-based detection. By leveraging relative positional information and local context, LSP-DETR enables scalable, efficient, and end-to-end instance segmentation without the need for complex post-processing pipelines. Experimental evaluation on publicly available datasets (PanNuke, MoNuSeg, and MoNuSAC) demonstrates that, while LSP-DETR does not achieve state-of-the-art segmentation accuracy, it delivers reasonable performance with a minimal number of parameters and significantly improves inference speed, achieving a 10-fold improvement compared to methods like StarDist.

Keywords

deep learning, digital pathology, nuclei segmentation, RationAI, strojové učení, digitální patologie, segmentace jader

Language used: English

Date on which the thesis was submitted / produced: 19. 12. 2024

Thesis defence

• Date of defence: 7. 2. 2025
• Supervisor: RNDr. Vít Musil, Ph.D.
• Reader: Anselm Paulus

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics