Fast Anisotropic Filtering and Performance Evaluation Tool for Optical Flow in Biomedical Image Analysis

RNDr. Vladimír Ulman, Ph.D.

Doctoral thesis

Abstract:

Tato práce se zaměřuje na analýzu časových obrazových sekvencí pořízených na fluorescenčním optickém mikroskopu. A to konkrétně za účelem automatizovaného vyhodnocování pohybů obarvených buněčných struktur, například proteiny nebo buněčná jádra, se dále zaměřuje na sledování (trekování) objektů na základě polí optického toku. Metody optického toku vypočítávají právě taková pole. V nich je ke každému obrazovému bodu přiřazen přesně jeden vektor. Tento vektor má ukazovat posun obsahu daného obrazového bodu mezi dvěma snímky. Chceme-li sledovat nějakou pozici, stačí ji potom pouze jednoduše posouvat podle obsahu vektorového pole. Ovšem za předpokladu, že máme k dispozici dobře vypočítaná pole. Práce postupně probere celý proces od snímání obrazů až po metody počítající optický tok. Začne vysvětlením limitů snímací technologie a popisem charakteristických vlastností nasnímaných dat. Přehledová část práce popíše a bude diskutovat metody umožňující sledování objektů. Dále se více zaměří na metody počítající optický tok na základě filtrování obrazu a také na to, jak je projevuje pohyb v časových snímcích. Důraz je tedy kladen na efektivní a přesné filtrování obrazů, což je právě klíčovou součástí metod optického toku založených na filtrování. Podrobněji budou studovány Gaussův a Gáborův filtr. Nejprve se analýzou ukáže, že rekurzivní 1D filtrování je velmi rychlé, efektivní a také přesné. Na druhou stranu je ale u rekurzivního filtrování komplikované ošetření okrajových podmínek. Nicméně, práce ukáže, že i to se dá dobře zvládnout. V další části se bude analyzovat separabilita Gaussova a Gáborova filtru, jejímž výsledkem bude výpočetní schéma, které využívá několika 1D rekurzivních obrazových filtrů počítaných podél obecně orientovaných os. Schéma umožňuje používat obecné anisotropní Gaussovy a Gáborovy filtry. Tím, že anisotropie se projevuje protáhlými jádry filtrů, je u nich patrná tzv. hlavní osa. Důležitým výsledkem této práce je právě fakt, že navržené schéma umožňuje počítat filtry s touto osou jakkoliv orientovanou. Porovnáním navrženého filtrovacího schématu se současnými optimálně fungujícími metodami se ukázalo, že schéma nabízí přesnější výsledky za cenu trochu pomalejšího výpočtu. V práci je ale popsáno další schéma, které, v případě cílové aplikace filtrování s bankou Gáborových filtrů, dosahuje prakticky optimální efektivity. Rychlé filtrování s bankou Gáborových filtrů nastavených na citlivé detekování pohybu bylo testováno v Heegerově metodě pro výpočet optického toku. Tato metoda používá Gáborovy banky a chybovou funkci, se kterou kontroluje výpočet polí optických toků, kombinací výsledků filtrování se získávají vektory do těchto polí. Práce popisuje zatím dosažené výsledky takto upravené Heegerovy metody, ve které bylo použito nové filtrování a také nová chybová funkce. Součástí práce je také vyvinutý generátor umělých obrazových sekvencí doplněných o odpovídající správná pole optického toku. Generátor je v práci popsán, pracuje s jednou vrstvou globálního pohybu, ve které pohybuje buňkou jako celkem, a několika vrstvami s nezávislými lokálními pohyby, ve kterých dodatečně pohybuje vyznačenými vnitřními buněčnými strukturami. Každý pohyb je popsán optickým polem a může se měnit v čase. Čili, generátor umožňuje získávat množiny umělých testovacích dat, ve kterých mohou být simulovány složité buněčné pochody živých buněk. Taková testovací data jsou nenahraditelným pomocníkem pro verifikaci algoritmů počítající optický tok.

Abstract:

The thesis is focused on the analysis of time-lapse images acquired using a fluorescence light microscope. In particular, for the purpose of automated evaluation of motion of stained cell structures, e.g., proteins or cell nuclei, perceived over a time period, we aim towards an object tracking based on an optical flow field. An optical flow method estimates a flow field in which a vector is assigned to every pixel in an image. The vector represents the difference in position of the same pixel content between two images. To track the given position it is then enough to simply follow flow vectors provided good flow estimates are available. The thesis reviews the process from acquiring image data to methods for computing optical flow. The description starts with the limits of the imaging technology and characterization of the obtained image data. The survey part reviews and discusses methods that allow for conducting object tracking. Optical flow methods based on filtering are then inspected more closely as well as the representation of motion in spatio-temporal images. Emphasis is put on efficient and accurate image filtering, which is an essential part of the filtering-based optical flow methods. The Gaussian and Gabor filters are studied. Firstly, recursive 1D filtering is analyzed to show it is very fast, efficient and accurate. On the other hand, handling of boundary conditions is somewhat complicated but it is demonstrated to be feasible. Secondly, separability of Gaussian and Gabor filter is investigated resulting in a framework which utilizes many recursive 1D image filtering tasks along generally oriented axes. The framework allows for filtering with general anisotropic Gaussian and Gabor filters. The anisotropy manifests itself with elliptical kernel shape with distinguished main axis. Important achieved result is that this axis can be arbitrarily oriented. The framework is more accurate but slightly less efficient compared to an optimal solution available. Nonetheless, for the target case of Gabor bank filtering a scheme is presented which is shown to give an almost-optimal efficiency. The fast and more motion sensitive Gabor bank filtering was tested on the original Heeger's optical flow method. The method utilizes bank of Gabor filters and an error function which controls the estimation of flow vector from the collection of filter responses. A preliminary result is given which uses new bank parameters as well as a new error function. A generator of synthetic sequences of test images with associated ground-truth flow fields was developed and is described in the thesis. The generator works with one global motion layer to move the whole cell and several independent local motion layers to additionally move selected interior cell structures. Movements are described using flow fields which are function of time. Altogether, the generator allows for the synthesis of datasets simulating time-lapse acquisition of complex processes in live cells. Such synthetic sequences are an indispensable tool for the verification of the algorithms that estimate flow field.

Keywords

biomedical image analysis, fluorescence microscopy, motion estimation, tracking, cell tracking, optical flow, energy-based, phase-based, Gaussian filtering, Gabor filtering, digital signal processing, recursive filtering, ground-truth flow fields, image generator, flow field evaluation, optical flow performance analysis

Language used: English

Date on which the thesis was submitted / produced: 28. 1. 2011

Thesis defence

• Date of defence: 25. 2. 2011
• Supervisor: prof. RNDr. Michal Kozubek, Ph.D.
• Reader: Dr. Stefan Wörtz, doc. Ing. Radim Kolář, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics