Authorship verification via cloze-test

Bc. Tomáš Kancko

Master's thesis

Anotácia:

V posledných mesiacoch sa plagiátorstvo stalo rozšíreným problémom, najmä v súvislosti s nárastom aplikácií, ktoré sú schopné generovať text veľmi pododný ľudskému. V dôsledku toho sa potreba jednoduchých, efektívnych, ale hlavne spoľahlivých nástrojov na detekciu plagiátorstva stala naliehavou. Táto práca je motivovaná úspechom predchádzajúcich experimentov, ktoré využívali princíp cloze-testu. Analyzuje dostupné dáta a jej cieľom je zlepšiť úspešnosť rozlišovania medzi skutočnými autormi a plagiátormi. Na dosiahnutie tohto cieľa algoritmus využíva schopnosť jazykového modelu doplniť chýbajúce slová v texte podobne, ako by to urobil užívateľ. Okrem toho sa nové, potenciálne vhodné metódy testujú pomocou užívateľskej štúdie. Praktickým výstupom práce je algoritmus, ktorý je vysoko efektívny pri výbere slov, ktoré môžu pomôcť rozhodnúť o autorstve.

Abstract:

In recent times, plagiarism has become a widespread issue, particularly with the proliferation of text generation applications. As a result, the need for simple, efficient, but most importantly, reliable detection tools has become more pressing. This thesis is motivated by the success of previous experiments utilizing the cloze-test procedure. It analyzes available data and seeks to improve the reliability to distinguish between genuine authors and plagiarists. To achieve this goal, the algorithm utilizes the language model's ability to fill in missing words in a sentence, just like a user would do. Additionally, a user study is conducted to evaluate any new potential method that appears plausible. The practical output of the thesis is an algorithm that is highly effective in selecting words that can determine authorship.

Keywords

plagiarism, machine learning, cloze-test, NLP, tokenization, word tagging, language modeling

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 16. 5. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2023
• Vedúci: Mgr. Tomáš Foltýnek, Ph.D.
• Oponent: doc. Mgr. Pavel Rychlý, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Theoretical computer science / Principles of programming languages