Source Code Quality Impact on Pull Requests Acceptance

Bc. Ondřej Kuhejda

Master's thesis

Abstract:

Vysoká kvalita kódu dělá software robustnější a udržitelnější, a zároveň snižuje technický dluh. Cílem této práce je zjistit, zda má kvalita kódu efekt na přijetí pull requestů a na prodlevu při jejich vyhodnocení. To nám pomůže porozumět, zda správci projektů věnují kvalitě kódu dostatečnou pozornost. Za tímto účelem bylo podrobeno analýze sto projektů napsaných v pěti různých programovacích jazycích: v Pythonu, v Javě, Haskellu, a v C/C++. Dle mých znalostí, je to zatím nejrozsáhlejší práce na toto téma (co do množství projektů a programovacích jazyků). Kvalita jednotlivých pull requestů byla vyhodnocena pomocí statické analýzy kódu. Pro zjištění souvislosti mezi kvalitou kódu a přijetím/zamítnutím pull requestu bylo využito mimo jiné i strojového učení. Podobné výsledky byly zjištěny pro všechny programovací jazyky — špatná kvalita kódu snižuje šanci, že bude pull request přijat. Tento negativní vliv na přijetí pull requestu je však malý. Kromě toho se zdá, že kvalita kódu neovlivňuje dobu potřebnou k vyhodnocení pull requestu. Tyto poznatky mohou značit, že kvalitě kódu není věnována dostatečná pozornost.

Abstract:

High source code quality makes the software more robust and sustainable and decreases technical debt. This thesis investigates the effect of code quality on pull request acceptance and on pull request evaluation latency. This will help us understand if the project maintainers pay sufficient attention to the code quality. To unravel the code quality influence, I analyzed one hundred open-source projects from five different programming languages: Python, Java, Kotlin, Haskell, and C/C++. To the best of my knowledge, this is the most extensive study in terms of programming languages and projects analyzed. The code quality of the individual pull requests was evaluated using static code analysis. Several machine learning models were utilized to predict the pull request acceptance based on the code quality. Similar results were found for all of the programming languages — pull requests with lower code quality have a smaller chance of being accepted. However, in all languages, this code quality impact on acceptance was only small. Moreover, there seems to be no effect on the time required to close a pull request. This can indicate that code quality is not getting the attention it deserves.

Keywords

source code quality, pull request, static code analysis, mining software repositories

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 21. 6. 2022
• Supervisor: PhD Bruno Rossi
• Reader: RNDr. Stanislav Chren

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Software systems