Stream Processing for Computationally Intensive Applications

Mgr. Filip Nálepa

Advanced ('rigorózní') thesis

Abstract:

V dnešní době je každým okamžikem produkováno velké množství dat, která je nutné následně zpracovat. K tomuto existují v zásadě dva způsoby. Data mohou být zpracována dávkově. To znamená, že jsou nejprve uložena a později zpracována jako celek. V některých případech je nicméně nezbytné, aby zpracování probíhalo kontinuálně. Tehdy mluvíme o tzv. zpracování proudu dat (stream processing). Jedním z problémů, se kterými se u zpracování proudu dat setkáváme, je nedostatečná propustnost vzhledem k rychlosti přicházejících dat do aplikace. Plánovaným cílem disertační práce je přispět k optimalizačním technikám pro výpočetně náročné aplikace zpracovávající proudy dat. Konkrétně navrhneme model pro analýzu výkonnosti těchto aplikací běžících v distribuovaném prostředí. Správnost modelu bude ověřena experimentálně porovnáním výsledků analýzy výkonnosti s naměřenými hodnotami reálně běžících aplikací. Dále se budeme věnovat speciálnímu typu výpočetně náročné aplikace pro zpracování proudu dat, která provádí podobnostní hledání. V tomto případě uvažujeme velkou databázi komplexních objektů (např. obrázků) a proud dat stejného typu. Úkolem je pro každý objekt v proudu dat nalézt nejpodobnější objekty v databázi. Cílem je vyvinout optimalizační metody zvyšující propustnost této aplikace.

Abstract:

Nowadays, a lot of data are produced every second. Also such a huge amount of data often need to be reprocessed later on. There are two basic ways of doing so. The data can be processed in batches, i.e., the data are stored at first, and then the whole dataset is processed. However, there are scenarios when the data need to be processed continuously. For such types of applications, the so called stream processing is appropriate. One of the challenges in stream processing is to keep up with the rate of incoming data items. The planned objective of the thesis is to contribute to optimization techniques for computationally intensive stream processing applications. Specifically, we design a model for performance analysis of such applications deployed in a distributed environment. The model is validated experimentally by comparing the results of the performance analysis with the measured performance metrics of real stream processing applications. In addition, we consider a particular type of a computationally intensive stream processing application which performs a similarity search. In this case, there is a large dataset of complex objects (e.g., images) and a stream of objects of the same type. The task is to find for each object of the stream the most similar objects in the dataset. The objective is to propose methods for enhancing the throughput of the application.

Keywords

stream processing, similarity search

Language used: English

Date on which the thesis was submitted / produced: 26. 2. 2016

Thesis defence

• Date of defence: 23. 5. 2016
• Reader: RNDr. Jakub Lokoč, Ph.D., RNDr. David Novák, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Information Systems