Indexing very large text data

Bc. Lucie Molková

Master's thesis

Anotácia:

S rostoucím množstvím digitálních knihoven s jiným než textovým obsahem se vynořuje potřeba zlepšovat techniky organizace rozsáhlých informačních zdrojů. Ukazuje se, že důležitým zdrojem pro tematické vyhledávání jsou popisná textová data, která jsou s obsahem asociována. Množina CoPhIR (Content-based Photo Image Retrieval) je příkladem experimentální knihovny, která obsahuje přes 100 milionů obrázků a jejich metadata. Hlavním cílem této práce je nastudovat technologii Lucene, která umožňuje indexovat textová data, a s využitím této technologie vytvořit index pro kontextové vyhledávání obrázků z množiny CoPhIR. Práce detailně popisuje proces vytváření indexu ze zdrojových dat, včetně možných úskalí. Navíc poskytuje přehled dalších řešení v oblasti vyhledávání a prezentuje některé výzvy z dané oblasti.

Abstract:

With emergence of digital libraries with non-textual content, there is a clear need for improved techniques to organize large quantities of information. It appears, that the textual descriptions associated with non-textual content are an important source of information when judging the topical relevance. The CoPhIR (Content-based Photo Image Retrieval) data set is an example of multimedia collection that serves as the basis of the experiments, including over 100 million images with associated metadata. The main objective of this thesis is to study Lucene technology for indexing text data, and, using this technology, implement indexing and content-based image searching of the CoPhIR collection. The procedure of creating index from initial data set is described in detail, including possible pitfalls. This work also surveys efforts that focus on information retrieval and presents some challenges for retrieval in both image indexing and searching.

Keywords

Lucene, CoPhIR, Information Retrieval, Text Retrieval, Text-search, Parsing, Similarity Searching, Searching, Relevance, Index, Indexing, Analysis, Web Service

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 25. 5. 2011

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 6. 2011
• Vedúci: RNDr. Michal Batko, Ph.D.
• Oponent: RNDr. Jan Sedmidubský, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Informatics / Information Systems