Cell Tracking Using YOLO and SAM 2 Neural Networks

Mgr. Martin Kozák

Diplomová práce

Anotace:

Sledovanie buniek v časozbernej mikroskopii je nevyhnutné pre kvantifikáciu buniek v mnohých oblastiach biológie. Táto diplomová práca skúma využitie základného modelu Segment Anything Model 2 v kombinácii s detekčným modelom YOLOv11 pri sledovaní buniek v mikroskopických videách. Navrhovaný prístup vychádza z paradigmy sledovania prostredníctvom detekcie, kombinujúc detekovanie pomocou YOLO a segmentácie bez predtrénovania (zero-shot) modelu SAM 2. S cieľom vyriešiť obmedzenia modelu SAM 2 pri pridávaní a odstraňovaní objektov počas inferencie zavádzame trojstupňový korekčný mechanizmus: vylepšovanie masky pomocou ohraničujúcich rámčekov YOLOv11, vytváranie dočasných objektov s reidentifikáciou a odstraňovanie buniek obsiahnutých vnútri iných buniek. Navrhovaný prístup bol vyhodnotený v súťaži Cell Tracking Challenge na benchmarkoch, v ktorých sa umiestnil na prvom mieste v datasete Fluo-N2DH-GOWT1 a dosiahol umiestnenie v prvej trojke v dvoch ďalších datasetoch v rámci Cell Tracking Benchmark, ako aj v dvoch datasetoch v rámci Cell Segmentation Benchmark. Analýza ukazuje, že tento postup vyniká na datasetoch s veľkými, dobre oddelenými, pravidelnými bunkami, ale má problémy v hustých scenároch a pri bunkách s nepravidelnými tvarmi. Toto obmedzenie pramení z z distribúcie trénovacích dát SAM 2. Napriek tomu táto práca ukazuje, že základné modely môžu dosiahnuť konkurencieschopný výkon v sledovaní buniek.

Abstract:

Cell tracking in time-lapse microscopy is essential for quantifying cellular behaviour across many areas of biology. This thesis investigates the application of a Segment Anything Model 2 foundation model with a YOLOv11 detection model in cell tracking in microscopy videos. The proposed approach follows the tracking-by-detection paradigm, combining YOLO’s efficient detection with SAM 2’s zero-shot segmentation capabilities. To address SAM 2’s limitations on adding and removing objects during inference, we introduce a three-step correction mechanism: mask refinement using YOLOv11 bounding boxes, temporary-object creation with reidentification across short disappearances and removal of cells contained inside other cells. The pipeline was evaluated on the Cell Tracking Challenge benchmarks, where it ranked first on Fluo-N2DH-GOWT1 and achieved top-three placements on two further datasets in the Cell Tracking Benchmark, as well as on two datasets in the Cell Segmentation Benchmark. Performance analysis shows that the pipeline excels on datasets with large, well-separated, round cells but struggles on densely packed scenarios and on cells with irregular, non-round shapes. This limitation is inherited from SAM 2’s training distribution. Nevertheless, this work shows that foundation models can reach competitive cell tracking performance through targeted adaptation.

Keywords

cell tracking, cell detection, cell segmentation, SAM 2, YOLO, Cell Tracking Challenge

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2026
• Vedoucí: doc. RNDr. Martin Maška, Ph.D.
• Oponent: doc. RNDr. Petr Matula, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Umělá inteligence a zpracování dat / Strojové učení a umělá inteligence