Semantic-Segmentation of Biomedical Images based on Visual Similarity

RNDr. Roman Stoklasa, Ph.D.

Doctoral thesis

Abstract:

Zrak je považován za jeden z nejdokonalejších lidských smyslů. Tento smysl umožňuje lidem přijímat velké množství informací v čase. Zrakové vnímání je složitý proces, který zahrnuje rozpoznávání objektů, interpretaci vjemů a vnímaní souvislostí. Pro počítače je složité automatické vnímání vizuální informace. Klasické počítače dokáží zpracovávat jen číselné a logické hodnoty, a proto každý obrázek vnímají pouze jako matici čísel. Výzvou, jak ,,naučit počítače vidět``, se zabývá oblast počítačového vidění. Tato oblast se zaměřuje především na zpracování obrázků z reálného světa, jako například fotografiemi okolního prostředí, přírody, záznamů z bezpečnostních kamer a pod. Oblast analýzy biomedicínského obrazu se taktéž zabývá zpracováním obrazových dat. Typické aplikace v této oblasti pracují s mikroskopickými snímky z různých typů mikroskopů (např. světelný, fluorescenční nebo elektronový), nebo také s lékařskými snímky pořízenými z magnetické rezonance nebo počítačové tomografie. V současné době je velmi snadné produkovat velké množství obrazových dat díky technologickému pokroku a dostupnosti automatizovaných přístrojů. Takové množství získaných dat je prakticky nemožné zpracovávat ručně, což motivuje k vývoji automatických procedur zpracování obrazu. Segmentace se řadí mezi základní operace zpracování obrazu. Jejím cílem je rozdělení obrazu na části, které odpovídají jednotlivým objektům. Sémantická segmentace je proces, který rozděluje pixely obrazu na části podle toho, zda vyjadřují stejný sémantický význam. Součástí jejího výsledku jsou také informace o sémantickém významu každé části. Cílem této dizertační práce je prozkoumat vhodné vysokoúrovňové koncepty a~algoritmy z oblasti počítačového vidění, které mohou být využity i při zpracování biomedicínských dat, především za účelem sémantické segmentace. Naše práce se věnuje třem aspektům vývoje algoritmu sémantické segmentace, mezi které se řadí popis obrazových dat, klasifikace a segmentace. V první části představujeme koncept vizuální podobnosti a návrh nového texturového popisovače obrázků pojmenovaného RSurf. Tento popisovač je vhodnější pro použití na biomedicínských obrázcích a funguje lépe než všeobecně známé a používané popisovače Local Binary Patterns (LBP) a Haralick Features. Ve druhé části se zabýváme návrhem a vývojem klasifikátoru buněk pro fluorescenční mikroskopii. Třetí část naší práce se věnuje sémantické segmentaci, kde jsme navrhli metodu založenou na vizuální podobnosti a klasifikaci. Námi navržený algoritmus nejdříve rozdělí obrázek na množství malých regionů, které jsou následně slučovány podle výsledků klasifikace a s využitím dalších zdrojů informací. Aplikaci této metody demonstrujeme na dvou různých úlohách z různých obrazových domén: (i) pro segmentaci buněk na obrázcích fázového kontrastu, a (ii) pro rozpoznání a segmentaci cesty na obrázcích reálného prostředí.

Abstract:

Vision is natural and the most sophisticated sense of human beings. This sense allows people to perceive huge amount of information. Visual perception is a complex process which involves recognition, context awareness and interpretation. It is difficult to solve visual perception problem automatically by computers, because computers can not ``see''. Traditional computers are only able to process numerical and logical values, so every image is transformed into a matrix of numbers. The problem ``how to teach computers to see'' is the main topic of computer vision area. Computer vision problems focuses mainly on real-world images, which can be, for example, various photos taken by people, recordings from surveillance cameras, or pictures taken by a~robot. Biomedical image analysis is also a field of research that deals with problems of image processing. Typical application from this area works with microscope images from various types of microscopes (e.g., wide-field, fluorescence or electron microscopes), or with medical images, e.g., Magnetic Resonance Imaging (MRI) or Computer Tomography (CT) scans. Thanks to the technological advances and availability of automated hardware instruments nowadays, it is very easy to generate large amounts of images, e.g., in the process of high content screening. Such large volumes of visual data are practically impossible to process manually. Therefore, strong motivation exists to create or enhance methods of automatic processing. Image segmentation is one of the basic operations in image processing and its purpose is to divide an image into segments. Semantic segmentation is a segmentation, that divides image pixels into regions based on their common semantic meaning. The result of semantic segmentation contains also a labeling (classification) of each region, so one can easily get the meaning of each segment. The aim of this thesis is to investigate suitable high-level concepts and algorithms from computer vision area that can be applied also in the field of biomedical image processing -- in particular, for semantic segmentation task. This work concerns multiple aspects in the whole pipeline leading towards semantic segmentation (consisting of image description, classification and segmentation). In the first part, we elaborate on the concept of visual similarity and we propose a novel textural image descriptor, named RSurf, which is more suitable for describing biomedical images and performs better than other well-known image descriptors like Local Binary Patterns (LBP) and Haralick features (based on Gray-Level Co-Occurrence Matrix (GLCM) statistics). In the second part, we designed and developed a cell classifier for fluorescence microscopy. The third part of our work is devoted to semantic segmentation. We propose a method that is based on visual similarity and classification. Our approach initially over-segments input image and then merge regions according to classification and information fusion. We show application of this concept in two different image domains: (i) applied to phase-contrast microscopic images to solve the segmentation problem of tightly packed cells, and (ii) applied to real-world images for the purpose of road detection and segmentation.

Keywords

semantic segmentation, visual similarity, biomedical image segmentation, image descriptor, image classification

Language used: English

Date on which the thesis was submitted / produced: 2. 5. 2016

Thesis defence

• Date of defence: 24. 10. 2016
• Supervisor: doc. RNDr. Petr Matula, Ph.D.
• Reader: prof. Dr. Ing. Jan Kybic, Prof. Jens Rittscher

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics