Distributed Systems for Discovering Similar Documents

RNDr. Jan Kasprzak, Ph.D.

Doctoral thesis

Abstract:

S dostupností velkého množství textových dokumentů na Internetu nabývá úloha objevování podobných dokumentů v rámci dané sady dokumentů na důležitosti. Mezi aplikace této úlohy patří algoritmické objevování plagiátorství, odstraňování duplicit z dané množiny dokumentů například pro účely fulltextových vyhledávacích strojů nebo pro účely detekce dokumentů pocházejících ze společného zdroje pro verzovací systémy. V této práci představujeme návrh a doporučení k implementaci dvou systémů pro vyhledávání podobností nad rozsáhlou bází dokumentů, zaměřených zejména na objevování plagiátorství. Jádro obou systémů bylo navrženo autorem této práce. První systém se používá v ostrém provozu v rámci Českého národního archívu závěrečných prací (Theses.cz) od roku 2008. V této práci popisujeme implementaci tohoto systému a předkládáme zkušenosti z jeho provozu a údržby. Také diskutujeme modifikace, které byly zavedeny do systému po jeho zprovoznění. Dále představujeme nový systém pro hledání podobností, který je určen jako náhrada stávajícího jádra systému Theses.cz. Tento systém další generace je navržen tak, aby byl schopen zpracovat alespoň stokrát více dokumentů, než má stávající systém. Je také připraven na rozšíření o alternativní typy charakteristických vlastností dokumentů, a také ke zpracování vzdálených dotazů z případných dalších instancí podobného systému. Předkládáme zhodnocení algoritmů a datových struktur tohoto nového systému, zejména co se týče paměťové náročnosti a náročnosti na úložný prostor. Také diskutujeme výpočetní náročnost a dobu odezvy nejdůležitějších kroků použitých algoritmů.

Abstract:

With the availability of large amount of text documents on the Internet, the task of discovering similar documents inside a given document base becomes more important. The applications include discovering plagiarism by means of machine processing, removing duplicate documents from a given document base for purposes of e.g. full-text search engines or detecting co-derivative or related documents for version control systems. In this document, we present the design and implementation notes of two systems for large-scale similarity search, aimed towards detecting plagiarism. The core of both systems have been developed by the author of this thesis. The first system is in production use in the Czech National Archive of Graduate Theses (Theses.CZ) since 2008. We describe its implementation, and present the experience learned from running and maintaining this system in a production environment. The modifications introduced during the system life cycle are also discussed. We then propose a next generation approach for similarity search, aimed to replace the current back-end in Theses.CZ. The next generation system is designed to handle at least hundred-times more documents than the first generation system, and is prepared to be extensible for alternative types of document features, and even to handle remote queries from other instances of plagiarism detection systems. We evaluate the algorithms and data structures of the proposed next generation system in terms of memory and disk storage requirements, as well as in terms of computational complexity and latency of the principal steps of the algorithm used.

Keywords

document similarity, plagiarism detection, co-derivative documents, deduplication, chunking algorithm, fingerprinting, scalability, distributed computing, parallel algorithm, theses archive

Language used: English

Date on which the thesis was submitted / produced: 29. 4. 2015

Thesis defence

• Date of defence: 31. 8. 2015
• Supervisor: doc. Ing. Michal Brandejs, CSc.
• Reader: doc. Ing. Jaroslav Zendulka, CSc., Assoc. Prof. Efstathios Stamatatos

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies