Similarity Search in Stream Processing

RNDr. Filip Nálepa

Doctoral thesis

Abstract:

Velké objemy dat (např. videa z bezpečnostních kamer nebo obrázky nahrané na sociální sítě) dnes vznikají jako kontinuální datové proudy. Tyto proudy nemohou být zpracovávány tradičními databázovými technikami, tzn. uloženy a předzpracovány ve strukturované databázi, aby bylo možné efektivně spouštět různé úlohy pro zpracování dat. Místo toho je nutné data zpracovávat kontinuálně, kupříkladu aby se mohly detekovat události ve videích z bezpečnostních kamer nebo aby se doporučil nový obsah uživatelům sociální sítě. Společnou charakteristikou takovýchto systémů je, že v daném okamžiku je možné přistoupit pouze část dat. Není možné určit, jaká data vzniknou v budoucnosti a již zpracovaná data jsou dříve či později zahozena. Jedním z přínosů disertační práce je model pro analýzu výkonnosti distribuovaných aplikací pro zpracování proudů dat. Model je možné použít k porovnání různých optimalizačních technik a nastavení distribuovaného prostředí před tím, než je aplikace opravdu v takovém prostředí nasazena. Dále se disertační práce soustředí na podobnostní zpracování dat jako nezbytné paradigma pro vyhledávání v současných datech na základě jejich obsahu. Konkrétně se disertační práce soustředí na metody pro urychlení zpracování proudu dotazů podobnostního vyhledávání. Navržený přístup kombinuje techniky využívající mezipaměť a přeuspořádání dotazů v proudu dat. Dalším výstupem disertační práce je obecné rozšíření pro řadu aproximačních přístupů pro podobnostní vyhledávání. Toto rozšíření vylepšuje poměr mezi rychlostí zpracování a kvalitou obdržených výsledků. Dalším případem užití podobnostního vyhledávání v kontextu proudového zpracování je operace kontinuálního kNN spojení (join). Tato operace se dá vhodně využít pro doporučování obsahu na sociálních sítích v reálném čase. Pokud reprezentujeme jak publikovaná data, tak preference uživatelů ve stejné datové doméně, můžeme uživateli doporučit k publikovaných datových položek, které jsou nejpodobnější jeho preferencím a které byly publikovány během poslední doby. Navržená aproximační technika založená na binárních skečích významně zlepšuje propustnost doporučování.

Abstract:

Huge volumes of data, such as video generated by surveillance cameras or images uploaded to social networks, are nowadays produced in a form of continuous data streams. Such streams cannot be processed by traditional database techniques, i.e., stored and pre-processed in a structured database to allow efficient execution of various data processing transactions. Instead, continuous processing of the data is necessary, for example, to detect events from surveillance camera videos or to recommend new information content to specific users. A common characteristic is that only a part of that data is seen at a time ‒ it is completely unknown what kind of data will come in the future and the already processed data is sooner or later discarded. One of the contributions of the dissertation is a model for performance analysis of distributed stream processing applications, which can be used to compare different optimization techniques and setups of a distributed environment before an application is actually deployed. The next focus is on similarity data processing as the necessary paradigm for content-based searching in contemporary data. Specifically, the dissertation concentrates on methods able to speed up execution of a stream of similarity search queries. The proposed approach combines caching techniques with query stream reordering. The next outcome of the dissertation is a generic extension to a range of approximation similarity search approaches, which improves the trade-off between the processing efficiency and the quality of obtained results. The continuous kNN join operation, which is a suitable approach for real-time recommendation in social applications, is another use case of the similarity search in the stream processing. By representing both the published data and the users' preferences in the same data domain, a user can be recommended the k most similar published data items to their preferences within a given sliding window on the data stream. The proposed approximation technique based on binary sketches significantly speeds up the throughput of the recommendation.

Keywords

stream processing, big data, distributed computation, performance analysis, similarity search, priority queue, similarity search caching, approximate similarity search, continuous kNN join, time-dependent similarity

Language used: English

Date on which the thesis was submitted / produced: 1. 2. 2019

Thesis defence

• Date of defence: 29. 5. 2019
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: Ph.D. Fabrizio Falchi, doc. RNDr. Pavel Smrž, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics