Software Metrics for Software Defects Prediction

Bc. Dominik Arne Rebro

Master's thesis

Abstract:

Táto diplomová práca sa zaoberá využitím softvérových metrík v modeloch predikcie softvérových defektov. Hlavným cieľom práce je zhodnotiť celkovú užitočnosť softvérových metrík pre predikciu defektov, ako aj analyzovať vplyv jednotlivých metrík na predikciu. Metriky softvérových produktov sa dajú vypočítať pomerne rýchlo počas celého procesu vývoja softvéru, preto ich užitočnosť pri predikcii defektov môže potenciálne viesť k zlepšeniu alokácie zdrojov, ako aj k zníženiu nákladov na vývoj alebo údržbu. Za prvé, databáza(na úrovni tried) pozostávajúca z 275 verzií vydania 39 projektov Java bola vytvorená ťažbou repozitárov GitHub. Databáza pozostáva z informácií o chybách a zdrojového kódu použitého na výpočet 12 softvérových metrík. Za druhé, vytvorená databáza bola použitá na trénovanie 3 modelov klasifikácie defektov. Za tretie, výsledky predikčných modelov boli analyzované na základe bodovacích metrík, ako sú F-measure a AUC-ROC. Nakoniec sa analyzovala dôležitosť každej jednotlivej metriky a na základe poradia boli identifikované tie najlepšie. Výsledky naprieč projektov naznačujú, že softvérové ​​metriky môžu byť užitočné na predpovedanie chýb. Klasifikátory Decision Tree (DT) a Random Forest (RF) dosiahli výsledky väčšinou medzi 50\% a 75\% F-measure a AUC-ROC. Zatiaľ čo najvýkonnejšie jednotlivé metriky boli NOC, NPA, DIT a LCOM5.

Abstract:

This diploma thesis deals with the usage of software metrics in software defect prediction models. The main goal of the thesis is to evaluate the overall usefulness of software metrics for defect prediction, as well as to analyse the impact of individual metrics on the prediction. Software product metrics can be computed relatively quickly during the entire software development process, therefore their usefulness in defect prediction can potentially lead to improvements in resource allocation, as well as reduced development or maintenance costs. Firstly, a class-level dataset consisting of 275 release versions of 39 Java projects was created by mining GitHub repositories. The dataset consists of defect information and source code used to compute 12 software metrics. Secondly, the created dataset was used to train 3 defect classification models. Thirdly, the results of the prediction models were analysed based on scoring metrics such as F-measure and AUC-ROC. Lastly, the feature importance of each individual metric was analysed, providing a ranking of metrics to identify the best performers. The results across all projects indicate that overall software metrics can be useful for defect prediction. The Decision Tree (DT) and Random Forest (RF) classifiers achieved results mostly between 50\% and 75\% F-measure and AUC-ROC. While the best performing individual metrics were NOC, NPA, DIT and LCOM5.

Keywords

defect prediction, software metrics, data mining, machine learning, software quality, data analysis

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 20. 6. 2022
• Supervisor: PhD Bruno Rossi
• Reader: RNDr. Stanislav Chren

Masaryk University

Faculty of Informatics

Master programme / field:
Computer systems, communication and security / Networks and communication