Using LLM to generate bachelor thesis

Bc. Jan Hassman

Master's thesis

Abstract:

Tato práce zkoumá možnosti využití rozsáhlých jazykových modelů (LLM), konkrétně ChatGPT, k vytvoření bakalářské práce bez lidské pomoci. Nastiňuje možnosti LLM a zaměřuje se na jejich použití při generování rozsáhlých a souvislých textů, jako jsou akademické práce. První část práce zkoumá různé aspekty LLM, včetně jejich architektury, fungování a důsledků jejich použití v akademickém prostředí. Druhá část práce se zaměřila na generování bakalářské práce. Byl zvolen experimentální přístup k ověření možnosti generování bakalářské práce o odpadovém hospodářství s využitím ChatGPT-4 i 3.5 s důrazem na akademické standardy, jako je správné citování a souvislá struktura. Zjištění naznačují, že ačkoli LLM mohou vytvořit text, který povrchně splňuje mnoho požadavků na akademické psaní, problémy zůstávají v oblasti věrohodnosti zdrojů, udržování kontextu a stylistické konzistence. V závěrečných kapitolách této práce jsou uvedena doporučení pro zvýšení spolehlivosti textů vytvářených LLM v akademickém kontextu, jejichž cílem je zlepšit budoucí práci.

Abstract:

This thesis examines the potential of using large language models (LLMs), specifically ChatGPT, to generate a bachelor's thesis without human assistance. It outlines the capabilities of LLMs, focusing on their application in generating extensive, coherent texts, such as academic theses. The first part of the thesis explores various aspects of LLMs, including their architecture, functioning, and the implications of their use in academic settings. The second part of this thesis focused on generating a bachelor's thesis. An experimental approach was chosen to test the possibility of generating a thesis on waste management using both ChatGPT-4 and 3.5, emphasising academic standards such as proper citation and coherent structure. The findings suggest that while LLMs can produce text that superficially meets many academic writing requirements, challenges remain in source credibility, context maintenance, and stylistic consistency. Recommendations for enhancing the reliability of LLM-generated texts in academic contexts are provided in the final chapters of this thesis, aiming to improve future work.

Keywords

Large Language Models, ChatGPT, Text Generation, Evaluation of Generated Text, Challenges in Text Generation

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 20. 6. 2024
• Supervisor: Mgr. Marek Grác, Ph.D.
• Reader: RNDr. Zuzana Nevěřilová, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems