Investigation of deep learning approaches to detection and segmentation of cereal grain spikes in greenhouse and field images

Sajid Ullah, Ph.D.

Doctoral thesis

Abstract:

Efektivní a přesná detekce klasů obilovin na snímcích rostlin pěstovaných ve skleníku je klíčová pro kvantitativní hodnocení vývoje rostlin a výnosů. Klasy obilovin jsou ovšem rela-tivně malé a opticky variabilní orgány rostlin, což činí jejich automatizovanou detekci náročným kognitivním úkolem. Tato disertační práce se zaměřuje na analýzu hlubokých i mělkých architektur v detekci a segmentaci klasů na RGB snímcích ze skleníků a polí. Práce ukazuje efektivitu pokročilých metod hlubokého učení při přesné detekci a segmentaci klasů, dosahující přesnosti vice než 90 %. Pro řešení výzev spojených se smíšenými kultivary ze dvou fenotypizačních zařízení tato studie navrhuje architektonická vylepšení modelu Faster-RCNN (FRCNN), označovaného jako FRCNN-A, a to začleněním globálního pozornostního modulu a snížením vrstev pro extrakci příznaků. Komparativní analýza FRCNN-A oproti modelům FRCNN a Swin Transformer na různých evropských odrůdách pšenice ukazuje, že model Swin Transformer dosahuje vyšší průměrné přesnosti (mAP) 89,45 %, následován modelem FRCNN-A s 85,0 % a modelem FRCNN s 84,24 % na rozšířených tréninkových da-tových sadách. FRCNN-A však vykazuje kratší dobu inferenčního výpočtu ve srovnání se Swin Transformerem. Dále ukazujeme na problém hlubokého učení vyžadujícího rozsáhlé oz-načené datové sady. Tento výzkum inovativně využívá Generativní adversariální sítě (GAN) k syntéze skleníkových RGB snímků a jejich sémantických popisů. Modely FastGAN a Pix2Pix umožnily vytvořit referenční data s nižší hodnotou Fréchetovy vzdálenosti (FID) a vyššími průměrnými koeficienty Dice (aDC), což naznačuje vysokou kvalitu syntetických snímků.

Abstract:

Efficient and accurate detection of grain spikes in images of greenhouse-grown cereal plants is important for quantitative assessment of plant development and yield outcome. However, spikes of cereal crops are relatively small and optically variable plant organs, making their automated detection a difficult cognitive disk. This dissertation focuses on analyzing both deep and shallow architectures for spike detection and segmentation in RGB greenhouse and field images. This work demonstrates the effectiveness of advanced deep learning methods in accurately detecting and segmenting spikes, achieving over 90% accuracy. To address the challenges of mixed cultivars from two phenotyping facilities, this research proposes archi-tectural improvements to the Faster-RCNN (FRCNN) model, referred to as FRCNN-A, by in-corporating a global attention module and by reducing feature extraction layers. A compara-tive analysis of FRCNN-A against the FRCNN and Swin Transformer models on various Euro-pean wheat cultivars reveals that the Swin Transformer achieves a higher mean Average Pre-cision (mAP) of 89.45%, followed by FRCNN-A at 85.0% and 84.24% for the FRCNN, on aug-mented training datasets. FRCNN-A achieves a lower inference time than the Swin Transfor-mer. Additionally, we demonstrated the issue of deep learning requiring extensive labeled datasets. This research innovatively employs Generative Adversarial Networks (GANs) to generate synthetic greenhouse RGB images and their semantic labels. The FastGAN and Pix2Pix models produced ground truth with lower Fréchet Inception Distance (FID) and higher average Dice Coefficient (aDC) scores, indicating high-quality image synthesis.

Keywords

Vysoce výkonná analýza obrazu rostlin, detekce klasů, segmentace klasů, hluboké neuronové sítě, sítě pozor-nosti, generativní adversariální sítě High-throughput plant image analysis, spike detec-tion, spike segmentation, deep neural networks, at-tention networks, generative adversarial networks

Language used: English

Date on which the thesis was submitted / produced: 29. 1. 2025

Thesis defence

• Date of defence: 13. 3. 2025
• Supervisor: doc. RNDr. Jan Hejátko, Ph.D.
• Reader: Prof. Khurram Khurshid, Prof. Dr. Zoran Nikoloski, Prof. Dr. Frieder Stolzenburg

Masaryk University

Faculty of Science

Doctoral programme / field:
Life Sciences / Life Sciences