Particle detection in electron microscopy images using neural networks

Bc. Roman Ďuriš

Bachelor's thesis

Abstract:

Táto práca sa zaoberá segmentačnými metódami snímkov, ktoré používajú neurónové siete, v elektrónovej mikroskopii a vytvára praktickú implementáciu pre tieto modely. Je obzvlášť dôležité, aby tieto metódy boli schopné rozoznať dotýkajúce sa častice a častice, ktoré sa prekrývajú aj za podmienok, ktoré nie sú ideálne. Mask R-CNN, YOLACT a U-Net sú metódy, ktoré sú skúmané ako možné prístupy pre daný problém. Teoretická časť práce popisuje architektúry zvolených metód a časti, z ktorých sa skladajú. Taktiež vysvetľuje úlohu detekcie a segmentácie objektov. Praktická časť obsahuje kompletnú implementáciu pre každý zvolený model, od tvorby datasetu po nasadenie modelu do produkcie. Pre každý model je testovaná jeho rýchlosť a presnosť. Rýchlosť je testovaná na rôznych hardwarových platformách vrátane Nvidia vstavaných zariadení a vzdialenej AWS inštancie. Výsledky nasvedčujú, že segmentácia pomocou neurónových sietí, zatiaľ nieje optimalizovaná dostatočne na to, aby bola schopná bežať na vstavaných zariadeniach. Jednostupňové segmentačné algoritmy majú najväčší potenciál do budúcna dosiahnuť dobrú rýchlosť na vstavaných zariadeniach. Najlepšiu presnosť dosiahol Mask R-CNN model, ktorý, ale potrebuje najviac výpočetného výkonu z všetkých testovaných metód.

Abstract:

This thesis explores image segmentation methods using neural networks for electron microscopy and develops pipelines for those models. Particular emphasis is on the ability of these methods to recognize touching and overlapping particles under non-ideal conditions. Mask R-CNN, YOLACT, and U-Net are explored as viable approaches to the given task. The theoretical part details the selected model’s architecture and building blocks as well as explains object detection and object segmentation tasks. The practical part implements whole machine learning pipelines for selected models from the dataset creation to the model deployment. The inference speed and precision are tested for each of these models on multiple hardware platforms, including Nvidia embedded devices and cloud instances. The results conclude that segmentation using neural networks is not yet optimized enough to run on embedded devices. Single-stage instance segmentation algorithms have the most significant potential to achieve good performance on embedded devices in the future. Furthermore, Mask R-CNN achieves the best precision but needs the largest computation resources from all tested methods.

Keywords

CBIA, neural networks, image analysis

Language used: English

Date on which the thesis was submitted / produced: 16. 12. 2021

Thesis defence

• Date of defence: 8. 2. 2022
• Supervisor: prof. RNDr. Michal Kozubek, Ph.D.
• Reader: doc. RNDr. Petr Matula, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing