Evaluating the Ability of Large Language Models to Provide Code Quality Feedback

Bc. Michal Adler

Diplomová práce

Anotace:

Kvalita kódu je klíčová pro jeho dlouhodobou udržovatelnost, a proto je nutné rozvíjet návyky pro psaní čistého kódu již od samotných začátků učení se programování. Poskytování zpětné vazby na kvalitu kódu je však časově náročné a obtížně škálovatelné. Tato práce se zabývá schopností velkých jazykových modelů dávat zpětnou vazbu na kvalitu kódu v kontextu úvodního programování. Práce porovnává několik modelů, z nichž je jeden vybrán pro experimenty s promptovacími technikami a posouzení jejich vhodnosti pro poskytování zpětné vazby na kvalitu kódu. Vybraný model je následně použit k vyhodnocení datové sady obsahující příklady kódu na začátečnické úrovni. Výsledky naznačují, že ačkoliv jsou modely schopné konzistentně detekovat některé typy defektů, u jiných, například u formátování, vykazují nedostatky. Bez dodatečného kontextu modely často generovaly řadu dalších připomínek, které byly obecně smysluplné, ale pro začátečníky by mohly být matoucí. Výsledky dále ukazují, že modely měly chybné připomínky jen zřídka, a chybovaly kvůli špatnému pochopení příkladu nebo halucinacím. Tato práce poskytuje poznatky pro budoucí výzkum v oblasti automatizace poskytování zpětné vazby na kvalitu kódu a zároveň nabízí vhled do silných a slabých stránek jednotlivých modelů a promptovacích technik.

Abstract:

High code quality is essential for maintainability, and developing habits to write clean code early on is crucial. Unfortunately, providing code quality feedback requires significant time and does not scale well. This thesis explores the usage of large language models (LLMs) and their ability to provide code quality feedback in the context of introductory programming. It compares multiple LLMs, selecting one for experimenting with prompting techniques and their suitability for performing code reviews. The chosen model is then used to evaluate a dataset comprising introductory-level code examples. The results indicate that while LLMs can detect some defect types consistently, they have limitations, especially with formatting issues. Without additional context, models produced numerous extra defects that were generally meaningful but could mislead beginners. The results further show that incorrect defects were rare but were caused by misinterpretation or hallucinations. The thesis provides insights for future work toward automating code quality feedback, highlighting the strengths and weaknesses of various LLMs and prompting techniques for performing code quality reviews.

Keywords

LLM, AI, code review, code quality, automation, prompt engineering

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 16. 6. 2025
• Vedoucí: doc. Mgr. Radek Pelánek, Ph.D.
• Oponent: Mgr. Anna Řechtáčková

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů