Detecting code quality defects in students’ solutions

Bc. Anna Řechtáčková

Master's thesis

Abstract:

Kvalita kódu je klíčová pro snadnou údržbu kódu. Učit začínající programátory psát kvalitní kód pomocí posouzení jejich kódu člověkem ovšem špatně škáluje. Existuje řada automatizovaných nástrojů, ale jejich zpětná vazba není vždy relevantní, nebo je pro začátečníky těžké je použít. Cílem této práce je vytvořit nástroj, který nedostatky existujících nástrojů překonává. Pro dosažení tohoto cíle jsem vyvinula EduLint, linter pro jazyk Python, který využívá Pylint a Flake8, aby generoval zpětnou vazbu přínosnou pro začínající programátory. Dokáže detekovat přes 200 defektů ve kvalitě kódu, z nichž řada není detekovaná žádným jiným nástrojem. Jeho konfiguraci je možné upravit pro různé druhy programovacích příkladů a různé cílové skupiny. Studenti můžou nástroj používat prostřednictvím webového rozhraní, které také zobrazuje vysvětlení, proč by měli dané defekty opravit. EduLint porovnávám s podobnými nástroji na souboru 100 000 řešení od začínajících programátorů. Toto porovnání ukazuje, že oproti ostatním nástrojům EduLint poskytuje zpětnou vazbu týkající se kvality kódu, která je pro nováčky relevantnější.

Abstract:

Code quality is critical for easy code maintenance, but teaching it to novice programmers through manual code reviews scales poorly. Several automated tools exist, but their feedback is only sometimes relevant, or they are hard to use by novices. The focus of this thesis is to create a tool that overcomes the shortcomings of the existing tools. To achieve that, I developed EduLint, a Python linter adapting Pylint and Flake8, tailoring them to deliver only feedback suitable to novice programmers. The tool can detect over 200 code quality defects, some of which are not detected by any other tool. It can be configured to suit various programming tasks and target groups. Students can use the tool through a web interface, which also displays explanations for the detected defects. I compare EduLint with other Python linters on a dataset of 100,000 submissions by novice programmers, showing EduLint provides code quality feedback that is more relevant for novices.

Keywords

automation, program analysis, Python, source code reviews, artificial intelligence, data analysis

Language used: English

Date on which the thesis was submitted / produced: 16. 5. 2023

Thesis defence

• Date of defence: 19. 6. 2023
• Supervisor: RNDr. Tomáš Effenberger
• Reader: doc. Mgr. Radek Pelánek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Theoretical computer science / Principles of programming languages