Fish biometric using machine vision

MSc. Dinara BEKKOZHAYEVA

Doctoral thesis

Abstract:

Nowadays, individual fish identification is made by tagging. Tagging is an invasive method of fish identification that can cause injuries to fish and stress to them, leading to increased mortality. Tagging is a time consuming and expensive identification way. The disadvantages of this method are obvious. To solve those problems, identification from the images could be used. Image-based fish individual identification is an excellent alternative. It is cheap, fast and not stressful to the fish. Fish identification from images is widely used in species identification. But not many studies deal with the identification of individual fish. All described reasons motivate us to work toward individual fish identification from the images as a substitute for fish tagging. We have done complex research with different fish species, different data collection conditions, and long-term perspective identification. In chapter 2, we tried the first attempt to automatically identify individuals of ornamental fish Sumatra barb Puntigrus tetrazona in an aquarium. Fish were freely moved in an aquarium with water; the green background was used to do the fish segmentation. Totally 43 individuals were used in this experiment. Identification accuracy was 100% and supported us to continue with the next step experiment. The next step was to increase the number of photographed fish to 330 fish. We used the commercially important Atlantic salmon Salmo salar in this study. We have tested different visible patterns on the fish body, such as dots on the body (chapter 3) and the iris of the eye (chapter 5). The duration of the experiment was six months. In this study, different data collection conditions were tested. Images of fish underwater in an aquarium and out of the water in a photo tent were taken. For the pictures of the fisheye, we used a micro-camera. The best results obtained from those experiments were 100% accuracy for the dot approach and HOG parametrization methods and 95% for fisheye data. The last experiment in this dissertation (chapter 3) was done to prove that the fish species which have no obvious pattern on the body, such as Sumatra barb (black vertical stripes) and Atlantic salmon (dots on the body), could be identified non-invasively from the images. European seabass Dicentrarchus labrax and common carp Cyprinus carpio were used in this study to prove this idea. Totally 300 seabass and 32 carp were photographed out of the water to get high-quality data. Together with the short-term experiment, we collected long-term data (two months for seabass and four months for carp). Different parts of the body were tested for identification (lateral line, scale pattern, operculum). Surprisingly, the identification results were high enough (100% for both species, even for the long term experiments) to conclude that the photo-identification works with species without an obvious pattern on a body. The conclusion supported by the results of the experiments is that the automatic photo-identification of individual fish is possible using machine vision. Data processing and identification procedure were fully automated. The approach works for species with and without an obvious pattern in the body (Sumatra barb, Atlantic salmon, European seabass and common carp), and it is useful for long term individual identification. The method can be used as a substitute for invasive fish tagging.

Abstract:

Nejpoužívanější metodou identifikace ryb je jejich značkování. Značkování je invazivní metoda identifikace ryb, která může rybám způsobit zranění a stres, což vede k zvýšení jejich úmrtnosti. Invazivní značkování je časově náročný a nákladný způsob identifikace. Nevýhody této metody jsou zřejmé. Možnou alternativou invazivní identifikace je neinvazivní identifikace z digitálních fotografií ryb. Jedná se o levné a rychlé řešení, které ryby nestresuje. Tento postup se používána při klasifikaci jednotlivých druhů. Identifikací jednotlivých ryb se ale zabývá pouze pár studií. Popsané výhody nás motivovali k práci na individuální identifikaci ryb ze snímků jako náhradě za značkování ryb. Provedli jsme sérii experimentů, které dohromady tvoří komplexní výzkum ověřující identifikaci jednotlivců pro různé druhy ryb, různé podmínky sběru dat a dlouhodobou možností identifikace založenou na obrázcích. První experiment je popsán v kapitole 2, kdy jsme provedli test identifikace jedinců okrasných ryb Sumatra barb Puntigrus tetrazona v akváriu. Ryby se volně pohybovaly v akváriu s vodou a bylo použito zelené pozadí k segmentaci ryb. V tomto experimentu bylo použito celkem 43 jedinců. Úspěšnost identifikace byla 100 % a prokázala použitelnost navržené metody pro další vývoj. Dalším krokem bylo zvýšení počtu ryb na 330 a otestování dlouhodobé stability vzorů použitých pro identifikaci. V této studii jsme použili komerčně významný druh ryb: lososa atlantického Salmo salar. Testovali jsme různé viditelné vzory na těle ryb, jako jsou tečky na těle (kapitola 3) a oční duhovka (kapitola 5). Obrázky vzorů byly fotografovány po dobu šesti měsíců pro ověření jejich stability. V této studii byly testovány různé podmínky sběru dat. Byly pořízeny snímky ryb pod vodou a mimo vodu ve foto stanu pro stanovení vlivu kvality dat na úspěšnost identifikace. Vytvořili jsme dvě metody pro identifikaci. Specializovaná metoda pro parametrizaci polohy teček na těle dosáhla dlouhodobé úspěšnosti 100%. Obecná metoda využívající parametrizaci textury dosáhla úspěšnosti 95%. Stabilita vzoru v oku se ukázala jako velmi nízká pro dlouhodobou identifikaci. Poslední experiment našeho výzkumu (kapitola 4) byl proveden s cílem otestovat, zda je možné použít vytvořenou metodu pro druhy ryb, které nemají na těle žádný zjevný vzor (tečky či pruhy). K prokázání této hypotézy byl v této studii použit mořský okoun Dicentrarchus labrax a kapr obecný Cyprinus carpio. Celkem bylo vyfotografováno 300 mořských okounů a 32 kaprů mimo vodu. Společně s krátkodobým experimentem jsme shromáždili dlouhodobá data (dva měsíce pro mořského okouna a čtyři měsíce pro kapra). Pro identifikaci byly testovány různé části těla (boční čára, vzor šupin, skřele). Úspěšnost identifikace byla pro oba druhy 100% a bylo prokázáno, že metodu je možné využít i pro druhy bez zjevného vzoru. Pro okouna byla nositelem unikátnosti postranní čára a pro kapra to byl vzor samotných šupin. V rámci svého výzkumu jsem vytvořila automatickou metodu pro detekci a identifikaci ryb využívající vzory na těle ryb pro jednoznačnou identifikaci. Metoda funguje se 100% úspěšností jak pro druhy ryb s jasnými vzory na těle, tak pro druhy bez těchto vzorů. Prokázala jsme i dlouhodobou stabilitu těchto vzorů pro identifikaci jednotlivců stejného druhu. Vytvořená metoda může být použita jako náhrada aktuálně používané invazivní metody značkování ryb. Všechna data získaná v rámci experimentů jsou nabízena v rámci otevřeného přístupu pro další rozvoj této oblasti výzkumu.

Keywords

precizní chov ryb, strojové vidění, identifikace individuálních ryb, neinvazivní identifikace.

Language used: English

Date on which the thesis was submitted / produced: 31. 8. 2022

Thesis defence

• Supervisor: Ing. Jan Urban, Ph.D.

UNIVERSITY OF SOUTH BOHEMIA IN ČESKÉ BUDĚJOVICE

Faculty of Fisheries and Protection of Waters

Doctoral programme / field:
Zootechnics / Fishery