Evaluation of machine-generated text detectors

Bc. Petr Šigut

Bachelor's thesis

Abstract:

Široká dostupnost generativní umělé inteligence vytváří pro společnost nové, bezprecedentní výzvy. Ani pro lingvisty by nebylo snadné určit, zda text, který čteme, byl vygenerován velkým jazykovým modelem (LLM), nebo napsán člověkem. Výzkumníci začali vyvíjet nástroje, které odhalují obsah generovaný umělou inteligencí. Tato práce analyzuje různé způsoby detekce obsahu generovaného umělou inteligencí, zejména pokud se setkáváme s obsahem v jiných jazycích než v angličtině. Testuje, jak si tři nástroje pro detekci UI, Compilatio, Turnitin a GPT-2 Output Detector, vedou s českými, slovenskými a anglickými texty generovanými ChatGPT. Výsledky této práce ukazují, že pouze jeden z veřejně dostupných nástrojů (Compilatio) byl schopen detekovat alespoň některé texty generované AI v češtině a slovenštině. Jeho výkon byl však jen mírně nad úrovní náhodného výběru; jeho přesnost u českých dokumentů byla 56 % a 67 %. Pokusili jsme se porovnat jeho výkon s detektorem výstupů GPT-2 a Turnitinem. Ani GPT-2 Output Detector, ani Turnitin však nedokázaly správně klasifikovat žádný z českých a slovenských dokumentů vytvořených umělou inteligencí. Proto byl zvolen alternativní přístup k testování s neanglickými dokumenty; konkrétně jsme se rozhodli české a slovenské texty před testováním přeložit do angličtiny. Ukázali jsme, že takový přístup umožňuje použít detekční nástroje pro české a slovenské dokumenty. Po překladu textů do angličtiny dosáhl Turnitin vysoké přesnosti 89 %. Ukázali jsme, že takový přístup umožňuje použít detekční nástroje pro české a slovenské dokumenty. Po překladu textů do angličtiny dosáhl Turnitin vysoké přesnosti 89 % u českých dokumentů a 92 % u slovenských dokumentů. Nakonec jsme ukázali, že všechny texty vygenerované nástrojem ChatGPT-4 byly ve všech jazycích hůře detekovatelné než texty vygenerované nástrojem ChatGPT-3.5.

Abstract:

The wide availability of generative AI creates new, unprecedented challenges for society. It would not be easy even for linguists to tell whether the text we are reading was generated by a Large Language Model (LLM) or written by a human. Researchers started developing tools that detect AI-generated content. This thesis analyses various ways to detect AI-generated content, particularly when encountering content in languages other than English. It tests how three AI detection tools, Compilatio, Turnitin and GPT-2 Output Detector, perform with Czech, Slovak and English texts generated by ChatGPT. The results of this thesis showcase that only one of the publicly available tools (Compilatio) was capable of detecting at least some AI-generated texts in Czech and Slovak languages. Its performance was however just slightly above the level of a random choice; its accuracy with Czech documents was 56% and 67%. We tried to compare its performance with GPT-2 Output Detector and Turnitin. However, neither the GPT-2 Output detector nor Turnitin could correctly classify any of the AI-generated Czech and Slovak documents. That is why an alternative approach to testing with non-English documents was taken; particularly we chose to translate the Czech and Slovak texts into English before testing them. We demonstrated that such an approach allows us to use the detection tools for Czech and Slovak documents. Once the texts were translated into English, Turnitin reached a high accuracy of 89% with Czech documents and 92% with Slovak documents. Ultimately, we showed that all texts generated by ChatGPT-4 were less detectable than the texts generated by ChatGPT-3.5 across all languages.

Keywords

AI, AI-generated text, AI-detector, Czech, Slovak, ChatGPT

Language used: English

Date on which the thesis was submitted / produced: 21. 12. 2023

Thesis defence

• Date of defence: 16. 2. 2024
• Supervisor: Mgr. Tomáš Foltýnek, Ph.D.
• Reader: doc. Mgr. Pavel Rychlý, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Informatics