Self-organizing Similarity Search - The Social Network Approach

RNDr. Jan Sedmidubský, Ph.D.

Doctoral thesis

Abstract:

Různá digitální zařízení produkují každý den obrovská a neustále rostoucí množství obrázků, videí nebo zvukových nahrávek. Vyprodukovaná multimediální data jsou obvykle uložena v mobilních telefonech nebo osobních počítačích, které mohou být vzájemně propojeny pomocí digitálních sítí. Takové sítě mohou být chápány jako distribuované systémy se spoustou připojených uzlů vlastněných uživateli, kteří chtějí sdílet svá data s ostatními síťovými uživateli. Klíčovou výzvou těchto systémů pro sdílení dat je navržení vyhledávacích mechanizmů, které by efektivně poskytovaly hledaná data i v sítích velkého rozsahu. Tyto mechanizmy se rovněž musí umět vypořádat s neustálými příchody nových uzlů a nečekanými odchody nebo dokonce selháními existujících uzlů. Neustálé víření uzlů vytváří z pohledu uživatele vysoce nestálé prostředí, ve kterém se nikdo nemůže spolehnout na dostupnost spojení a dat, které byly nedávno používány, protože systém se může v čase významně měnit. Ačkoli existuje spousta distribuovaných přístupů, jeden z nejvhodnějších a nejflexibilnějších je založen na principu samoorganizace. My v této práci navrhujeme obecný třívrstvý (abstraktní, konceptuální a implementační) model, nazvaný General Model, pro navrhování a implementování vyhledávacího systému založeného na samoorganizujících se principech. Počínaje od abstraktní vrstvy, která definuje nutnou strukturu a funkcionalitu jakéhokoli samoorganizujícího se vyhledávacího systému, využijeme tento model pro navržení a vybudování specifického samoorganizujícího se vyhledávacího systému, nazvaného Metric Social Network. Tento systém podporuje podobnostní vyhledávání v multimediálních datech díky přijatému konceptu metrického datového modelu. Architektura systému je založena na teorii sociálních sítí, které slouží pro vytváření sémantických spojení mezi připojenými uzly. Experimenty vyhodnocené na reálných obrázcích a synteticky generovaných datech potvrzují, že systém je schopný poskytnout vysoce kvalitní výsledky vyhledávání společně s nízkými komunikačními náklady. Experimenty rovněž demonstrují schopnost systému pracovat i ve velkých sítích, přizpůsobovat se různým rozprostřením dat a odolávat nečekaným selháním uzlů, což ukazuje na vhodnost přístupu samoorganizace pro podobnostní hledání.

Abstract:

Every day, various digital devices produce a huge and continually increasing amount of images, videos, or audio recordings. The produced multimedia data are usually stored within mobile phones or personal computers that can be mutually interconnected through digital networks. Such networks can be perceived as distributed systems with a lot of connected nodes owned by users, willing to share their data with other network users. The key challenge of such sharing systems is to design search mechanisms that would effectively and efficiently provide needed data in networks of large sizes. These mechanisms have to also deal with continual arrivals of new nodes and unexpected leaves or even failures of the existing ones. From the user point of view, such permanent node churning makes the environment highly volatile where a user cannot rely on the availability of connections and data that have been recently retrieved, because the system's content may significantly change over time. Although many distributed approaches exist, one of the most suitable and flexible is provided by the self-organization paradigm. In this work, we propose a general three-layer (abstract, conceptual, and implementation) model, called the General Model, for designing and implementing a search system based on self-organizing principles. Starting from the abstract layer that defines the necessary structure and abilities of any self-organizing search system, we utilize the proposed model in order to design and build a specific self-organizing search system, called the Metric Social Network. This system supports similarity search in multimedia data due to the adopted metric space data model. The architecture of the system is based on the social network theory, which is used for establishing semantic links among connected nodes. Experimental trials evaluated on real-life images and synthetically generated data confirm that the system is able to provide high-quality search results along with low communication costs. We also demonstrate the ability of the system to scale to large network sizes, to adapt to diverse data distributions, and to be robust to unexpected nodes failures, which justifies suitability of the self-organizing approach to similarity search.

Keywords

self-organizing systems, social networks, peer-to-peer networks, similarity search, multimedia data, metric space, scalability, robustness

Language used: English

Date on which the thesis was submitted / produced: 10. 9. 2010

Thesis defence

• Date of defence: 12. 1. 2011
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: prof. RNDr. Luděk Matyska, CSc., Prof. Marco Patella, Ph.D.

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Informatics