Semantic Segmentation Based On Similarity

Mgr. Roman Stoklasa, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

S narastajúcim množstvom multimediálných a obrazových dát, ktoré sa objavujú v posledných rokoch, sa čím ďalej tým viac dostáva do popredia otázka, ako s takýmto typom dát efektívne pracovať. Jedným z veľkých a stále otvorených problémov je problém automatického rozpoznania obrazu. Počítače nedokážu interpretovať obrazové dáta a preto sa vyvíjajú rôzne prístupy, ako dosiahnuť aspon čiastočného porozumenia obrazu počítačom. V našej práci adresujeme problém sémantických segmentácií. Sémantická segmentácia je proces rozdelenia obrázku na časti, pričom každej časti priraďujeme jej sémantiku. Tento problém v sebe kombinuje 2 podproblémy: segmentáciu obrazu a následné rozpoznanie jednotlivých segmentov. Rozpoznanie vybraných častí obrazu je možné dosiahnuť pomocou klasifikácí. V tejto práci rekapitulujeme rôzne prístupy segmentačných algoritmov, najbežnejšie používané obrazové popisovače, rovnako ako aj bežné klasifikačné algoritmy. Predstavujeme našu ideu spojenia automatickej segmentácie a klasifikácie pomocou kNN klasifikátora za účelom detekcie a rozpoznania objektov v obraze. V práci takisto prezentujeme naše 2 hlavné výsledky: (i) klasifikátor obrázkov bunečných jadier z fluorescenčného mikroskopu a (ii) algoritmus na detekciu cesty, ktorý spája problém segmentácie a klasifikácie. Našim ďalším výzkumným cieľom je vývoj spoločných princípov algoritmu na sémantickú segmentáciu obrazu a ich aplikácia v 3 rôznych doménach obrázkov: 1) v algoritme na detekciu cesty, 2) v doméne biomedicínskych dát a 3) pre všeobecné obrázky reálneho sveta.

Abstract:

In recent years, there is a rapid growth of multimedia and image data. Because of this, a problem of effective usage of such type of data has emerged. Problem of image recognition and understanding is one of the biggest unsolved problems in image processing field. Unfortunately, computers are not able to interpret image data, so many different approaches were developed to obtain at least some ability of image understanding. In our work we address the problem of semantic segmentation. Semantic segmentation is a process of division image into regions, where each region is assigned its semantics. This problem combines two different subproblems: image segmentation and object recognition. Object recognition can be done using image classification. In this work we summarize different approaches of segmentation algorithms, popular visual image descriptors and commonly used classification methods. We propose a combination of automatic image segmentation approach and image classification using kNN classifier for the purpose of object recognition in the image. We also show our two main results: (i) HEp-2 cell classifier and (ii) road detection algorithm, which combines image segmentation and image classification together. Our goals for further research are to develop common principles of semantic segmentation algorithm, which could be used in 3 different image domains: 1) in road detection algorithm, 2) for biomedical images and 3) for real-world images.

Keywords

semantic, sémantická, segmentation, segmentace, classification, klasifikace, kNN

Language used: English

Date on which the thesis was submitted / produced: 22. 11. 2012

Thesis defence

• Date of defence: 9. 1. 2013
• Reader: Prof. Cham Athwal, Ing. Tomáš Suk, CSc.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Applied Informatics / Image Processing