Texture-Based Image Description in Fluorescence Microscopy

RNDr. Ing. Tomáš Majtner, Ph.D.

Doctoral thesis

Abstract:

Návrh a vývoj různých nástrojů zpracování obrazu pro konkrétní vědecké i diagnostické účely je stále žhavým tématem výzkumu. V současné době mají lékaři snadný přístup k velkému množství snímků z různých zařízení a přístrojů. Analýza těchto snímků, které jsou obvykle v několika modalitách (CT, MRI, rentgenové snímky, atd.), je velice důležitá a přesné automatické nebo poloautomatické nástroje jsou nejen užitečné, ale i silně vyžadované. Protože neexistuje žádný univerzální přístup, který by se dal použít k analýze všech typů snímků, jsou nové metody optimalizované pro jednotlivé typy snímků předmětem výzkumu. V posledních desetiletích se ohnisko zájmu biomedicínského výzkumu, a zvláště fluorescenční mikroskopie, postupně přesouvá od konvenčních 2D snímků do 3D. Primárním důvodem je rostoucí přesnost 3D snímaní, jež přináší přesnější zkoumání celého zachyceného objektu. To otevírá nové možnosti ke zlepšení různých stávajících 2D algoritmů, které původně nebyly určeny pro práci s 3D vstupními daty. Proto v současnosti existují dvě hlavní větve výzkumu. První z nich se zaměřuje na vývoj 3D metod, které zkoumají 3D objekt jako celek, tj. ne prostřednictvím 2D algoritmů. Druhá větev vyvíjí a stále zdokonaluje 2D algoritmy pro analýzu 2D dat. Předkládaná práce se dotýká obou větví se zaměřením na texturové vlastnosti snímků z fluorescenční mikroskopie. V práci představujeme náš 2D deskriptor, nazvaný „2D RSurf“, který byl vyvinut pro klasifikaci HEp-2 snímků buněk. Tyto buňky se běžně používají pro detekci autoimunitních onemocnění. Vyhodnocení autoimunitních testů nad HEp-2 buňkami stále provádí lékaři, a proto se jedná o metodu subjektivní a příliš závislou na zkušenostech odborníka. Vývoj „2D RSurf“ byl založen na vizuálním zkoumání různých tříd buněk. Prezentované testy přesnosti klasifikace ukazují převahu „2D RSurf“ nad ostatními klasifikačními přístupy, což činí z „2D RSurf“ významný příspěvek k automatizaci celého procesu hodnocení onemocnění. Práce dále prezentuje naši verzi k-NN klasifikátoru, který kombinuje různé obrazové deskriptory. Jeho cílem je maximalizovat přesnost klasifikace v rozpoznávání snímků. Na mezinárodní klasifikační soutěži byl náš klasifikátor vyhodnocen jako jeden z předních nástrojů v rozpoznávání HEp-2 buněk. Ve větvi výzkumu zabývající se 3D algoritmy představujeme 3D rozšíření běžně používaných texturových deskriptorů. Konkrétně se zaměřujeme na Tamurovi vlastnosti a MPEG-7 standardní deskriptory - zde námi prezentované 3D rozšíření přináší významné zlepšení v klasifikaci 3D fluorescenčních snímků. Dále uvádíme porovnání jednotlivých 3D rozšíření jednoho z nejpopulárnějších deskriptorů současnosti - „Local Binary Patterns“. Srovnání bylo prováděno nad 3D biomedicínskými snímky. V závěru práce prezentujeme 3D rozšíření našeho „2D RSurf“ deskriptoru. Ve srovnání s jinými existujícími 3D algoritmy, klasifikátor založený pouze na našem „3D RSurf“ deskriptoru dosahuje více než 99% přesnost klasifikace snímků 3D HeLa buněk, což je aktuálně nejlepší výsledek pro tento typ dat.

Abstract:

The design and development of various image processing tools and algorithms for specific scientific as well as diagnostic purposes is still a hot topic. Currently, physicians have easy access to large amount of images from various capturing devices. The analysis of these images, which usually appear in several modalities (CT, MRI, X-ray, etc.), is very important and precise automated or semi-automated tools are not only useful but strongly required here. Since there is no universal approach to be used for the analysis of all types of images, new methods optimal for particular image types are being introduced by researchers. In the recent decades, the focus of interest in biomedical imaging and especially in the fluorescence microscopy progressively moves from the conventional 2D images to volumetric 3D images. The reasons for this shift are primarily connected with the increasing precision of 3D acquisition, which brings more accurate examination of the entire object. This opens new challenges for the improvement of various existing 2D algorithms, which were not designed to handle 3D input images. Therefore, there are currently two main branches of research in this area. The first one is focused on the development of 3D methods that examine the 3D object as a whole, not through 2D algorithms. The second branch still develops and improves the 2D algorithms for 2D image data. The presented thesis addresses both branches with focus on the texture-based description of fluorescence microscopy images. The original 2D descriptor, called 2D RSurf features, is introduced for the classification of HEp-2 cell images. These cells are commonly used in the Indirect Immunofluorescence (IIF) tests to detect autoimmune diseases. The evaluation of IIF tests is still mostly done by humans and therefore it is a subjective method too dependent on the experience of the expert. Our proposed descriptor was originally designed for the HEp-2 cell images and the inspiration for it comes from the visual inspection of various cell classes. The presented tests demonstrate superiority of 2D RSurf features over the state-of-the-art approaches on the classification of HEp-2 cell images. This descriptor is therefore significant contribution to automation of the evaluation process of IIF tests. The thesis further presents our version of k-NN classifier, which combines various feature extractors. The aim of this classifier is to maximize the classification accuracy in cell image recognition. Based on the results of the HEp-2 Cells Classification Contest, our classifier was recognized as one of the leading approaches in HEp-2 cell image recognition. To address also the other branch of research in this area, we introduce 3D extensions of commonly used texture descriptors in the field. Namely, we focus on Tamura features and MPEG-7 standard descriptors, where presented 3D extensions bring significant improvement in the classification tasks of 3D fluorescence microscopy images. Since one of the currently most popular descriptors, Local Binary Patters, already have more 3D extensions, the thesis introduces the comparison of these variants on the 3D volumetric dataset of biomedical images. In the end, we present the 3D extension of our 2D RSurf features, which is compared to other presented 3D approaches. The classifier based purely on 3D RSurf features achieves the classification accuracy more than 99% on 3D HeLa cell images, which is the best result presented in the literature for this type of data.

Keywords

image descriptors, texture, 3D extension, fluorescence microscopy, RSurf features, Tamura features, Gabor features, Haralick features, Local Binary Patterns, k-NN classifier

Language used: English

Date on which the thesis was submitted / produced: 24. 9. 2015

Thesis defence

• Date of defence: 8. 12. 2015
• Supervisor: prof. RNDr. Michal Kozubek, Ph.D.
• Reader: prof. Dr. Ing. Pavel Zemčík, Prof., Dr. Tech. Janne Heikkilä

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies