Vektorové reprezentace ve vyhledávání znalostí

Bc. Vít Novotný

Diplomová práce

Vector Space Representations in Information Retrieval

Anotace:

Moderní systémy pro hledání textu provádějí během vytváření databáze dokumentů segmentaci. V práci představuji postup, pomocí kterého lze během vyhledávání všechny segmenty jednoho dokumentu spojit a odvodit z nich podobnost dokumentu vůči uživatelovu dotazu. Běžné metody vyhledávání textu podceňují podobnost dokumentů, které používají rozdílnou terminologii. Latentní sémantická analýza tento problém řeší shlukováním slov, která se vyskytují dohromady. Cenou za toto řešení je však nutnost opětovně vytvářet databázi dokumentů u dynamicky se měnících kolekcí a neadekvátnost souvýskytů slov jakožto míry jejich vzájemné podobnosti. V práci představuji model, který netrpí ani jedním zmíněným nedostatkem.

Abstract:

Modern text retrieval systems employ text segmentation during the indexing of documents. I show that, rather than returning the segments to the user, significant improvements are achieved on the semantic text similarity task by combining all segments from a single document into one result with an aggregate similarity score. Standard text retrieval methods underestimate the semantic similarity between documents that use synonymous terms. Latent semantic indexing tackles the problem by clustering frequently co-occuring terms at the cost of the periodical reindexing of dynamic document collections and the suboptimality of co-occurences as a measure of synonymy. I develop a term similarity model that suffers neither of these flaws.

Keywords

document segmentation, synonymy, question answering, vector space model, text retrieval, information retrieval

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 13. 12. 2017

Obhajoba závěrečné práce

• Obhajoba proběhla 6. 2. 2018
• Vedoucí: doc. RNDr. Petr Sojka, Ph.D.
• Oponent: RNDr. Jiří Materna, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika