Detekce shody fragmentů textových dokumentů – Bc. Jan PLAS

Anotace:

Cílem této diplomové práce, která vnikla na základě zadání České tiskové kanceláře (ČTK), bylo najít nejlepší způsob vyhledávání a porovnávání textových fragmentů ve dvou množinách (menší obsahující texty z ČTK a větší množina s texty z novin). Bylo nutné analyzovat strukturu full-textových databází ČTK a metody, které jsou nezbytné pro identifikaci a prezentaci shodných textový částí. Na základě získaných informací byl navržen algoritmus k vyhledání shodných fragmentů a jejich prezentaci s využitím statistických ukazatelů. Výsledná aplikace byla implementována v Javě pomocí Apache Lucene knihovny. …víceméně

Abstract:

The aim of this diploma thesis, which was based on the award of the Czech News Agency (ČTK), was to find the best method for searching and matching text fragments in two sets (smaller one containing texts from ČTK and larger set with texts from newspapers). It was necessary to analyze the structure of the full-text databases ČTK and methods which are essential for the identification and presentation of text content compliance looks like. Based on the obtained information was designed algorithm to find matching fragments as well as how the present them with the use of statistical indicators. The resulting application was implemented in Java using the Apache Lucene library. …víceméně