Určování biologických druhů ve volné přírodě s využitím umělé inteligence

Ing. Lukáš PICEK

Doctoral thesis

Abstract:

This work contributes with novel computer vision methods and datasets for the automatic identification and localization of biological specimens in a natural environment (i.e. "in the wild"). With great emphasis placed on suitability and application in biodiversity monitoring, conservation, and snakebite mortality prevention, this scenario introduces several unique challenges that include but are not limited to: (i) high visual similarity between various biological organisms, (ii) the possibility of observing various parts of the subject, from different distances, at different seasons, or next to another species, (iii) extremely unbalanced species distributions, (iv) substantial impact of wrong decisions, i.e., confusion of poisonous species for edible, and (v) need for better interpretability and explainability of provided results. This thesis introduces several machine learning and computer vision methods and approaches suitable for various use cases, e.g., coral reef annotation, Varroa destructor infestation rate monitoring, and automatic snake, plant, and fungi species identification. For a coral reef annotation, an automatic system for the detection, classification, and segmentation of individual coral substrates in underwater images based on Mask R-CNN and "bag of tricks" was developed. The Varroa destructor infestation rate monitoring in Western honey bee hives is approached, in contrast to the existing high-tech methods, with a straightforward method -- combining thresholding algorithm with a custom lightweight CNN architecture -- has the potential to replace the common time-consuming, inaccurate practice (i.e. manual evaluation). Algorithms proposed for species identification are primarily based on deep neural networks and supervised learning. Thus, a relatively high number of labeled samples was required. The insufficient quality of the existing datasets or their lack of led to the creation of novel datasets -- DanishFungi 2020, CVarroaDestructor, and two for SnakeCLEF competitions -- with a number of unique characteristics that expands their suitability beyond fine-grained visual categorization. We show that the newly proposed datasets with state-of-the-art deep neural network architectures ensure sufficient robustness against many negative traits associated with "in the wild" species identification and provide sufficient recognition accuracy. In order to increase the performance of the state-of-the-art architectures, interpretability of provided results, and to reduce confusion between poisonous and harmless species, we (i) used advanced optimization strategies, (ii) developed novel techniques using provided metadata, and (iii) designed novel loss functions. The methods and algorithms presented in this work ranked among the best places in several worldwide competitions (e.g. PlantCLEF, FGVCx Flower, FGVCx Fungi, etc.) with a focus on the automatic identification and localization of biological species.

Abstract:

Tato práce se zabývá vývojem a výzkumem metod počítačového vidění a konstrukcí datových korpusů využitelných k automatické identifikaci a lokalizaci biologických druhů v přirozeném prostředí a čase. Jedná se tedy o rozpoznávání tzv. ve volné přírodě, jenž při- náší značné množství výzev v porovnání s rozpoznáváním v laboratorních podmínkách. Zmíněné výzvy v kontextu jejich možného uplatnění při monitorování biologické rozmanitosti, ochraně přírody a potenciálně i zdravotnictví zahrnují: (i) vysokou vizuální podobnost různých biologických organismů a jejich částí, (ii) možnost pozorovat jejich různé části z mnoha úhlů, či v různých ročních obdobích, (iii) nevyváženosti v rozložení druhů, (iv) rozdílné následky chybných rozhodnutí, tj. záměna jedovatých druhů za neškodné, a (v) důležitost interpretovatelnosti výsledků. V této práci je popsáno několik nových metod a přístupů strojového učení a počítačového vidění vhodných pro různé případy použití, tj. anotaci fotografií korálových útesů, sledování míry zamoření včelínů Kleštím včelím a automatickou identifikací biologických druhů. Pro popis fotografií korálových útesů pořízených pod vodou byl vyvinut automatický systém pro detekci, klasifikaci a segmentaci jednotlivých substrátů založený na metodě Mask R-CNN a řadě triků. K automatickému sledování míry zamoření včelstev Kleštíkem včelím je navržen přímočarý přístup, který využívá kombinaci prahování a vlastní architektury konvoluční sítě. Díky integraci systému do mobilní aplikace existuje reálný potenciál nahradit běžně používané manuální vyhodnocování, jenž je časově náročné a nepřesné, ale i existující metody založené na počítačovém vidění. Algoritmy navržené pro identifikaci biologických druhů jsou založeny především na hlubokých neuronových sítích a metodách učení s učitelem vyžadující relativně vysoké množství označených dat. Nedostatečná kvalita stávajících datových sad, nebo jejich absence, vedly k vytvoření nových datových sad (DanishFungi 2020, SnakeCLEF a CVarroaDestructor) s celou řadou jedinečných vlastností, které umožňují jejich využitelnost i nad rámec identifikace živočišných druhů. Práce potvrzuje, že nově navržené datové sady s nejmodernějšími architekturami hlubokých neuronových sítí zajišťují dostatečnou odolnost vůči mnoha negativním vlivům spojeným s identifikací druhů ve volné přírodě a poskytují dostatečnou přesnost rozpoznávání. Pro inkrementální zvýšení přesnosti state-of-the-art metod, zlepšení interpretovatelnosti výsledků a omezení záměn jedovatých druhů za neškodné jsme (i) použili pokročilé optimalizační strategie, (ii) připravili techniku pro integraci metadat o pozorování do rozhodnutí a (iii) navrhli nové ztrátové funkce. Algoritmy popsané v této práci se umístily na předních místech v několika celosvětových soutěžích (PlantCLEF, FGVCx Flower, FGVCx Fungi, apod.) zaměřených na automatizaci identifikace a lokalizace biologických druhů.

Keywords

CNN, Transformers, Machine Learning, Computer Vision, Fungi, Plants, Snakes, Apiculture, Classification, Recognition, Species recognition, Fine-grained, Artificial Intelligence

Language used: English

Date on which the thesis was submitted / produced: 3. 3. 2023

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Prof. Ing. Luděk Müller, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Applied Sciences and Computer Engineering / Cybernetics