Generování bakalářské práce v češtině pomocí LLM

Bc. Ondřej Andrla

Master's thesis

Generating bachelor's thesis in Czech language using LLM

Abstract:

Cílem této práce byl vývoj sady promptů pro jazykový model ChatGPT na architektuře GPT-4, který by umožnil kompletní generování bakalářské práce v českém jazyce na téma z oblasti informačních technologií. Práce zkoumá, zda umělá inteligence dokáže vytvořit akademické texty srovnatelné s dílem lidského autora, a to jak z hlediska obsahu, tak formy. Zároveň práce obsahuje jak návrh generování, tak samotnou realizaci vzorové bakalářské práce, která demonstruje praktické uplatnění navržených promptů. Práce popisuje iterativní proces experimentování s různými metodami tvorby efektivních promptů a vyhodnocuje jejich účinnost. Text se také věnuje popisu různých problémů, které nastaly při snaze o generování kvalitní bakalářské práce, a předkládá jejich řešení. Na závěr je generovaný text zhodnocen s použitím různých metrik pro hodnocení textové kvality. Dosáhl dobrých výsledků, jak po stránce obsahu, tak formy, avšak byly v něm objeveny i vážnější problémy, zvláště v oblasti správnosti citací.

Abstract:

The aim of this study was to develop a set of prompts for the ChatGPT language model based on the GPT-4 architecture, which would enable the complete generation of a bachelor's thesis in Czech on a topic in the field of information technology. The thesis investigates whether artificial intelligence can create academic texts comparable to the work of a human author, both in terms of content and form. It includes both a proposal for generation and the actual implementation of a sample bachelor's thesis, demonstrating the practical application of the designed prompts. The work describes an iterative process of experimenting with various methods of creating effective prompts and evaluates their effectiveness. The text also addresses various problems encountered in the attempt to generate a high-quality bachelor's thesis and presents their solutions. In conclusion, the generated text is evaluated using various metrics for assessing text quality. It achieved good results in terms of content and form, however, more serious issues were discovered, especially in the area of citation accuracy.

Keywords

Prompt engineering, automatické generování textu, rozsáhlé jazykové modely, systémy zpracování přirozeného jazyka, textová kvalita, ChatGPT

Language used: Czech

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 17. 6. 2024
• Supervisor: Mgr. Marek Grác, Ph.D.
• Reader: RNDr. Adam Rambousek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems