Evaluating AI-Generated texts: A corpus-based analysis using Natural Language Processing models

Matěj NOVOTNÝ

Bachelor's thesis

Abstract:

This thesis focuses on the evaluation of texts generated by artificial intelligence and texts written by humans. It combines corpus analysis with automated evaluation using Natural Language Processing (NLP) models and reader perception gathered through a questionnaire. The study aims to determine whether AI-generated texts can linguistically and stylistically compete with those written by humans. The analysis compares argumentative and expository essays and examines key features such as vocabulary, structure, and fluency. Results obtained through corpus-based linguistic analysis, automated NLP evaluation, and reader feedback are then compared to assess the overall quality of writing.

Abstract:

Tato práce se zaměřuje na hodnocení textů vytvořených umělou inteligencí a textů napsaných lidmi. Kombinuje korpusovou analýzu s automatizovaným vyhodnocováním pomocí modelů zpracování přirozeného jazyka (NLP) a vnímáním čtenářů prostřednictví dotazníku. Práce má potenciál zjistit, zda texty generované umělou inteligencí mohou lingvisticky a stylisticky konkurovat textům napsaným lidmi. Analýza je založena na argumentačních a výkladových esejích a zkoumá klíčové rysy, jako je slovní zásoba, struktura a plynulost. Výsledky získané za pomoci korpusové analýzy, automatizované analýzy od NLP modelu a zpětné vazby respondentů jsou následně porovnány za účelem zhodnocení celkové kvality psaného projevu.

Keywords

Texty generované umělou inteligencí, zpracování přirozeného jazyka, korpusová lingvistika, lidské hodnocení, vnímání textu, argumentační eseje, výkladové eseje, AntConc, jazyková kvalita

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 29. 4. 2025

Zverejniť od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedúci: Dr. Christoph Haase, Ph.D., M.A.

JAN EVANGELISTA PURKYNĚ UNIVERSITY IN ÚSTÍ NAD LABEM

Faculty of Education

Bachelor programme / odbor:
Anglický jazyk a literatura pro vzdělávání / Anglický jazyk a literatura pro vzdělávání