Source Retrieval for Text Reuse Detection

RNDr. Šimon Suchomel, Ph.D.

Doctoral thesis

Abstract:

Rozsáhlá digitalizace textových dokumentů, které jsou tak jednoduše přístupné online, představuje jednu z významných výhod vyplývající z pokroku v oblasti počítačových systémů a počítačových sítí. Jednoduchost přístupu k textu umístěnému online jde ruku v ruce s jednoduchostí a rychlostí s jakou lze tyto texty opakovaně použít. Bohužel jednou z forem znovupoužití textu je také jeho plagiátorství, které bylo v posledním desetiletí na velikém vzestupu. Obzvláště v akademickém prostředí je tento delikt z hlediska společnosti velice nežádoucí, proto učitelé a školitelé potřebují nástroje, které dokáží zjednodušit tento velice obtížný úkol detekce podobnosti textů, zvláště při trendu nárůstu počtu závěrečných prací a počtu vysokoškolských studentů. Tato dizertace se zabývá danou problematikou zejména z pohledu nástrojů pomáhající v detekci plagiátorství. Práce vznikla v prostředí softwarových řešení detekce plagiátorství v Informačním systému Masarykovy univerzity a tematicky přidružených projektů národního měřítka. Porovnávání podobností mezi dokumenty představuje jádro takových nástrojů, které ovšem potřebují mít kompletní znalost o obou dokumentech, tedy o původním dokumentu, který sloužil jako zdroj a o dokumentu odvozeném nebo opsaném, aby byly schopny rozeznat a zobrazit dané podobnosti. Tudíž databáze kvalitních dokumentů představuje pro systém založený na počítání podobností mezi dokumenty naprosto esenciální a velice důležitou část. Taková databáze neobsahuje pouze závěrečné a seminární práce studentů, vědecké články a jiné akademické výstupy, ale je také dynamicky rozšiřovaná o relevantní dokumenty získané z online zdrojů, což v tomto kontextu nazýváme vyhledáváním dokumentů. Tato dizertace se zaměřuje na problém vyhledávání dokumentů jako na součást oboru znalostního vyhledávání. Praktické poznatky v oblasti návrhu takového systému jsou taktéž prezentovány. Tento proces vyhledávání podobností je typicky prováděn na základě každého vstupního dokumentu, který je systémem kontrolován na přítomnost plagiátorství. Hlavním záměrem je potom získání relativně malé množiny podobných dokumentů, u kterých je vyšší pravděpodobnost, že byly i částečnou předlohou k vytvoření zkoumaného textu nebo jsou si např. tematicky podobné. A to z obrovské kolekce všech dostupných dokumentů, kterou v praxi představuje ne menší množina, než je celý Web. Tyto původní dokumenty jsou vyhledávány pomocí moderních vyhledávacích služeb, které disponují dostatečným výpočetním výkonem, aby byly schopné indexovat celou kolekci potenciálních původních dokumentů. Vyhledávání je pak prováděno pomocí dotazů několika typů, které jsou sestaveny na základě textových vlastností vstupního dokumentu. Takové dotazy pak vedou jednak k vyhledání dokumentů obsahující shodné texty, navíc také k dokumentům, které pojednávají o podobné problematice jako vstupní dokument. Z toho důvodu, vyhledávané relevantní dokumenty nejsou pouze dokumenty, co obsahují překrývající se shodnou část textu se vstupním dokumentem, ale také dokumenty diskutující stejnou problematiku, které tak významně přispívají ke kvalitnímu obohacení databáze dokumentů k porovnání. Tato práce také diskutuje a doporučuje konkrétní postupy v praxi pro vyhledávání dokumentů a také zohledňuje návrh systému, který vedl k implementaci a nasazení systému pro vyhledávání dokumentů v rámci rodiny systémů pro detekci podobnosti dokumentů na Masarykově univerzitě, což představuje praktický přínos této práce. Z hlediska teoretického přínosu tato práce představuje metodologii testovanou v praxi pro vyhledávání dokumentů založenou na h

Abstract:

ierarchických dotazovacích strategiích za použití a konstrukce vícedruhových dotazů, která je zaměřena zejména na kontrolu závěrečných prací. Klíčové poznatky spočívají v návrhu systému, který se neopírá pouze o řadící algoritmy výsledků vyhledávacích strojů za účelem dosažení vyššího pokrytí detekce podobností. Kombinace různorodých dotazů zaměřuje proces vyhledávání tak, aby pokrýval širší škálu možného plagiátorství, které je možné následně detekovat ve fázi detailního porovnání dokumentů, což má uplatnění zejména v kontrole závěrečných vysokoškolských prací.

Abstract:

Digitalization and online accessible documents are one of the important benefits of the last decades' progress in computer networks and systems. The ease of access to a digital textual content correlates with the ease and speed of reusing existing text. One of the many applications of reusing text may include plagiarism, which was, unfortunately, during the last decades on its rise. Especially in academia, the teachers and supervisors need a tools which would elevate the tedious work of plagiarism detection to the quick and easily-handled process. This thesis addresses the issue of plagiarism mainly from the perspective of a plagiarism detection tool design. The background of the thesis is set in the environment of Masaryk University and its tools for plagiarism prevention including the tool used in the Information System of the Masaryk University and interconnected plagiarism solutions of a nation-wide spread. In such a tool the evaluation of document similarities represents the core of the evaluation system, which, however, needs to posses the source and the reused document in order to detect the similarity. Therefore, the high quality document base for detecting document similarities is for the anti-plagiarism system of critical importance. Such a document base contains not only theses, seminar works, and institutional papers from the repositories, but needs to be dynamically enlarged by the relevant retrieved documents available online, which is referred to as a source retrieval. This thesis concentrate its focus on the source retrieval problem as a part of the domain of information retrieval. A practical findings are presented also in the corresponding system design area. This process of source retrieval is performed for each document entering the anti-plagiarism detection and the main purpose is to retrieve a relatively small subset of similar documents, which may have been plagiarized from, from the vast document corpus, which in real world is no smaller than the Web. The source documents are looked up utilizing modern search engines, which possess the computational power to index the whole Web. The searches are executed based on multiple types of queries created based on textual characteristics of the input document. Firstly, this leads to retrieving textually similar documents from the Web. Secondly, which is particularly beneficial when done based on academic papers in the institutional repository, it constitutes the way of retrieving thematically related documents. Therefore, the relevant document to be retrieved is not only a document which contains overlapping textual passages, but also a topic-related document. The thesis also discusses and recommends specific approaches in a real-world source retrieval system design, which led to the implementation of the source retrieval system incorporated into the anti-plagiarism solution at the Masaryk University and it is the main practical output of this work. This thesis contributes with practical methodology of source retrieval which applies hierarchical search strategies of several types of queries and is focused on theses checking. The key findings lie in a system design which do not strongly rely on the ranking algorithms of used search engines in order to achieve high recall. The combination of diverse query types aims the retrieval process for covering a wide spread of plagiarism delicts which is beneficial for the theses checking, which was the main goal of the work.

Keywords

academic delicts, cost optimization, deterministic queries, download filtering, external plagiarism, intrinsic plagiarism detection, language detection, n-grams, paraphrasing, pilot query, plagiarism, plagiarism detection, positional queries, query construction, querying, real-world system design, scalable system, search engine, search methodology, selecting, selecting over crawling, source retrieval, stylometric features, synoptic search, system design, text copying, text reuse

Language used: English

Date on which the thesis was submitted / produced: 27. 10. 2016

Thesis defence

• Date of defence: 22. 2. 2017
• Supervisor: doc. Ing. Michal Brandejs, CSc.
• Reader: doc. Ing. Jaroslav Zendulka, CSc., Assoc. Prof. Efstathios Stamatatos

Masaryk University

Faculty of Informatics

Doctoral programme / field:
Informatics (4-years) / Computer Systems and Technologies