Scalable and Distributed Similarity Searching

Mgr. Michal Batko, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

S neustále se zrychlující infrastrukturou počítačových sítí vzrůstá také zájem o distribuované systémy. Moderní počítačové sítě mívají natolik velkou kapacitu, že je pro aplikaci levnější přistoupit k RAM paměti jiného počítače v síti než přistupovat na lokální disk. Proto se ukazuje vhodným rozmístit data s pomocí distribuovaného systému mezi jednotlivé uzly sítě. Aby bylo možné k těmto datům efektivně přistupovat, je nutné vyvinout nové metody pro ukládání a zpracování distribuovaných dat. Scalable Distributed Data Structures (SDDS) jsou dalším krokem na cestě za efektivním distribuovaným datovým skladem, neboť jsou již z definice svých vlastností vhodné pro rozsáhlé distribuované systémy. Tyto techniky lze také s výhodou využít pro velké objemy dat, ve kterých chceme vyhledávat podle podobností mezi objekty (lze je použít například v rozpoznávání obrázků, hledání hlasových vzorků, porovnávání molekul, ...). Jednou z metod, jak toho dosáhnout, je použití abstrakce "metrických prostorů", kterými lze definovat "vzdálenostní" funkci pro danou třídu objektů. Takový přístup umožňuje podobnostní hledání v distribuovaném prostředí a tedy v podstatě téměř neomezenou kapacitu úložiště. Tato práce je zaměřena na vytvoření nové distribuované indexační struktury pro podobnostní hledání, která kombinuje existující centralizované techniky s distribuovaným prostředím.

Abstract:

Since the emergence of high-speed networks, interest in distributed systems increased considerably. Modern computer networks have large enough bandwidth, so that it is becoming more expensive for an application to access local disk, then it is to access RAM of another computer on a network. We can therefore distribute data among network nodes using a distributed system. For efficient use of such a system, new techniques are need for storage, access and processing of distributed data. Scalable Distributed Data Structures (SDDS) represent a step towards efficient storage and access of distributed data, since by definition they are very well suited for large scale distributed systems. Distributed techniques can also be used to enhance processing of huge datasets of objects, where we want to search for similarities between objects (examples of applications can be image recognition, audio samples matching, molecules searching, ...). One method to accomplish this task is to use a "metric space" abstraction for classes of objects that allow defining a "distance" function. Such approach allows to search for similar objects in a distributed environment and thus allow almost boundless scalability of the search structure. This work is aimed at the development of a novel distributed similarity search index structure that combines the centralized techniques with the distributed paradigm.

Keywords

scalable and distributed index structures (SDDS), peer-to-peer data networks (P2P), metric space, similarity search

Language used: English

Date on which the thesis was submitted / produced: 30. 1. 2007

Thesis defence

• Date of defence: 30. 1. 2007

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics