Similarity Searching in Peer-to-Peer Environment

Mgr. David Novák, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

Díky narustající složitosti současných digitálních dat se podobnostní vyhledávání stává základní výpočetní úlohou pro celou škálu aplikací a mnoho datových struktur pro podobnostní vyhledávání se objevilo v literatuře. Bohužel podobnostní hledání je z podstaty velmi drahé a, přestože důmyslné indexační struktury monou snížit výpočetní i V/V náklady, celková cena vyhledávání se stává nepřijatelnou, pokud množství zpracovávaných dat roste. Jeden ze způsobů, jak dosáhnout rychlého zpracování velkého množství dat, je posunout se od centralizovaných datových struktur směrem k paralelnímu a distribuovanému prostředí. Přehledová část těchto tezí sleduje dvě oddělené linie výzkumu. Nejdříve jsou nastíněny principy a základní struktury pro indexování založené na modelu metrického prostoru a pak jsou studovány vývojové trendy v oblasti peer-to-peer sítí se zaměřením na různá dotazovací paradigmata směřující k podobnostnímu vyhledávání. Na základě studia současného stavu konstatujeme potřebu nové distribuované strukuty pro podobnostní vyhledávání v metrických prostorech a navrhujeme architekturu systému s názvem M-Chord. M-Chord převádí problematiku podobnostního hledání v metrických prostorech na vyhledávání v jednodimenzionální doméně. Jeho struktura, založená na známém protokolu Chord, rozděluje uložný prostor a paralelizuje zpracování podobnostních dotazů. Jeho výkonnost byla podrobně porovnána s relevantními existujícími přístupy. Skutečnost, že směrování v M-Chordu probíhá v jednodimenzionální doméně, ulehčuje budoucí studium různých strategií pro balancování zátěže a replikaci a jejich vlivu na efektivitu zpracovávání podobnostních dotazů.

Abstract:

Due to the increasing complexity of current digital data, similarity search has become the fundamental computational task in a variety of applications and many similarity search structures have been proposed in the literature. Unfortunately, the similarity searching is inherently very expensive and even though sophisticated index structures can reduce both computational and I/O costs, the overall searching costs become unacceptable when the data volume grows. A way to achieve swift processing of large datasets is to shift from centralized data structures towards parallel and distributed environment. The survey part of this proposal follows two separated research lines. First, the principles and basic data structures for the indexing based on the metric space model are outlined and then the development trends in the area of peer-to-peer networks are studied focusing on various query paradigms heading towards similarity searching. Based on the study of the current state, we recognize the need for a new distributed structure for similarity searching in metric spaces and propose the architecture of a system called M-Chord. The M-Chord transforms the the issue of similarity searching in metric spaces into searching in one-dimensional domain. Its architecture, based on the well-known routing protocol Chord, distributes the storage space and parallelizes the execution of similarity queries. The performance of M-Chord has been compared in detail with relevant existing approaches. The fact that the M-Chord routing is performed in one-dimensinal domain makes easier the future study of various load-balancing and replication strategies and their influence on the efficiency of the similarity query processing.

Keywords

similarity search, metric space, structured peer-to-peer networks, distributed data structures

Language used: English

Date on which the thesis was submitted / produced: 30. 1. 2007

Thesis defence

• Date of defence: 30. 1. 2007

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics