Systems for Discovering Similar Documents

Mgr. Jan Kasprzak, Ph.D.

Advanced ('rigorózní') thesis

Abstract:

S širší dostupností elektronických textů v poslední době se také stalo jednodušším používat práci jiných bez korektní citace. Naštěstí nedávný vývoj v oblasti detekce překryvu dokumentů (a obecně v oblasti objevování podobných dokumentů) může usnadnit také objevení plagiátů. Algoritmy pro nalezení podobných dokumentů mají také další způsoby užití, zejména v oblasti fulltextových vyhledávačů: jednak pro odstranění úplných duplikátů, a jednak pro zabránění několika důležitým ale podobným dokumentům v tom, aby zabraly pro sebe celou první stranu vyhledaných výsledků. Navrhovaná disertační práce vyhodnotí přístupy k objevování podobných dokumentů, zejména pomocí detekce překryvu dokumentů, a ověří, které z nich jsou vhodné pro velké množiny dokumentů. Také se zaměří na praktické aspekty implementace na clusteru samostatných počítačů, a na použití v produkčním prostředí Informačního systému Masarykovy univerzity.

Abstract:

With the wider availability of the electronic texts in the recent years, it has also became easier to use work of other people without the appropriate citation. Fortunately, recent developments in the area of detecting document overlap (and in general, discovery of similar documents), can also make it easier to discover the plagiarized work. The algorithms for discovering similar documents have also other uses, especially in the area of full-text search engines: either for removing duplicate documents altogether, or for preventing a subset of important but similar documents to occupy the whole first page of the search results. This proposed Ph.D. thesis will evaluate the approaches for the discovery of similar documents, especially by detecting document overlap, and verify which of them are suitable for large sets of documents. It will also focus on aspects of practical implementation on a distributed cluster of standalone computers, and usage in a production environment of the Masaryk University Information System.

Keywords

similar documents, document overlap detection, plagiarism, natural language processing, distributed computing

Language used: English

Date on which the thesis was submitted / produced: 15. 12. 2009

Thesis defence

• Date of defence: 15. 1. 2010
• Reader: prof. Ing. Karel Ježek, CSc., prof. PhDr. Karel Pala, CSc.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Informatics / Informatics