Různé algoritmy pro porovnávání textových dokumentů

Jiří Sýkora

Bachelor's thesis

Various Algorithms for Text Documents Comparison

Abstract:

V dnešní době, kdy se velmi rychle rozvíjí informační technologie, jsme nuceni stále častěji řešit otázku podobnosti dokumentů. V důsledku tohoto vznikla již spousta algoritmů, jež se zabývají právě touto problematikou. Mají široké využití, převážně při ověřování plagiátorství. Tyto algoritmy se potýkají se dvěma problémy – efektivitou a výkonností. Program by měl být schopen objevit i jen malou část plagiovaného textu v celém dokumentu. Programy by ale měly zjistit plagiátorství i tehdy, pokud jsou frázová slova zaměněna za synonyma, věty jsou zpřeházené nebo dokonce upravené. Toto jsou důvody, proč byla vymyšlena celá řada algoritmů pro porovnání souborů. Každý typ je založen na jiném systému, např. ověřuje počet výskytů slov nebo určuje podobnost pomocí vektorů. Takovéto algoritmy se tedy používají nejen pro ověřování plagiovaných prací, ale například booleovský a vektorový model jsou využívány i pro vyhledávače a vyhledávací systémy. V této práci jsou popsány metody, kterými lze dva soubory porovnávnat. V teoretické části jsou uvedeny algoritmy, jež dané metody využívají. V praktické části je pak popsána implementace vybraných algoritmů, a to signaturní metody, Normalized Compression Distance a Fast Compression Distance. Ke konci této práce jsou pak naimplementované programy porovnány a zhodnoceny.

Abstract:

Nowadays, when information technology is being quickly developed, we are forced to deal with questions about similarity of documents. As a result, a lot of algorithms which handle these problems have been created. They have a large use, especially in verification of plagiarism. These are the reasons why a lot of algorithms for comparing files have been created. Each type is based on other system, e. g. it verifies the number of word occurences or it sets a similarity using vectors. These algorithms are used not only for verifying plagiarisms, but e. g. the Boolean and the vector models are used in the search systems. In this thesis, the methods which can be used for file comparison are described. In the theoretic part the algorithms using these methods are shown. In the practical part an implementation of the chosen methods is showed – these include the signature method, the Normalized Compression Distance and the Fast Compression Distance. At the end of this thesis the implemented programs are compared and valorised.

Keywords

Java, plagiátorství, signaturní metody, signaturní soubory, signatury, booleovský model, vektorový model, Levenshteinova vzdálenost, Hammingova vzdálenost, Normalizovaná kompresní vzdálenost

Keywords

Java, plagiarisms, signature methods, signature files, signatures, bool model, vector model, Levenshtein distance, Hamming distance, Normalized Compression Distance

Language used: Czech

Date on which the thesis was submitted / produced: 7. 5. 2014

Thesis defence

• Date of defence: 2. 6. 2014
• Supervisor: Petr Berek
• Reader: Michal Prílepok

VŠB - Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Bachelor programme / field:
Informační a komunikační technologie / Informatika a výpočetní technika