Evaluation Of Instance Segmentation Methods For Electron Microscopy Images with focus on throughput and speed

Bc. Roman Ďuriš

Master's thesis

Abstract:

Táto diplomová práca sa zaoberá state-of-the-art metódami segmentácie inštancií pre obrazy z elektrónových mikroskopov. V práci sa hodnotia modely Mask R-CNN, Mask2Former, SoloV2 a RTMDet so zameraním na výkon a rýchlosť. Práca sa venuje aj vytvoreniu prostredia, ktoré záhŕňa kompletný životný cyklus týchto modelov od trénovania až po nasadenie. V prvej časti práce sa opisujú špecifiká elektrónového mikroskopu. Druhá časť sa zaoberá tradičnými algoritmami a metódami strojového učenia v segmentácii a opisuje ich použitie v elektrónovej mikroskopii. Tretia časť sa zameriava na implementáciu prostredia pre dané modely a vytvorenie datasetu. Vo štvrtej časti sa hodnotia testované architektúry na rôznych zariadeniach s akcelerátormi strojového učenia od spoločnosti NVIDIA. V závere práce sa konštatuje, že nasadenie modelov strojového učenia pre segmentáciu inštancií, ktoré prekonávajú tradičné segmentačné algoritmy na vstavaných zariadeniach, je skutočne možné, pričom poskytujú rýchlosť a odozvu v reálnom čase. Zistilo sa, že najväčší potenciál na segmentáciu inštancií v reálnom čase má neurónová sieť RTMDet. Najlepšiu presnosť však stále dosahuje Mask R-CNN.

Abstract:

This thesis explores state-of-the-art instance segmentation approaches for images from electron microscopes. The thesis focuses on the evaluation of the explored approaches with a focus on throughput and speed. The Mask R-CNN, Mask2Former, SoloV2, and RTMDet deep neural architectures are explored. The ML pipeline for the complete lifecycle of these models is developed from training to deployment. The first part of the thesis describes the specifics of the electron microscope. The second part explores traditional and deep neural approaches to segmentation and describes their use in electron microscopy. The third part focuses on the implementation of the machine learning pipeline and the creation of the dataset. The fourth part focuses on the evaluation of the tested architectures on different devices with machine-learning accelerators from NVIDIA. The thesis concludes with the findings that the deployment of instance segmentation models that outperform traditional segmentation algorithms on embedded devices is indeed possible while providing real-time throughput and latency. Single-stage neural network RTMDet has been determined to have the most potential for real-time instance segmentation. However, Mask R-CNN still achieves the best precision.

Keywords

instance segmentation, neural networks, electron microscopy, image segmentation, SEM

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2023

Thesis defence

• Date of defence: 13. 2. 2024
• Supervisor: doc. RNDr. Tomáš Brázdil, Ph.D.
• Reader: prof. RNDr. Michal Kozubek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems