AI-driven Software Development Source Code Quality

Bc. Petr Kantek, B.Sc.

Master's thesis

Anotácia:

V posledních letech byla umělé inteligence úspěšně aplikována v různých odvětvích. Velké jazykové modely (VJM) se rozšířily také do oblasti softwarového vývoje. Od generování zdrojového kódu a analýze kódu až po překlad dokumentace mohou nástroje založené na VJM zvýšit efektivitu softwarového vývoje a pomoci softwarovým inženýrům v jejich každodenních úkolech. Existuje však otevřená otázka týkající se kvality zdrojového kódu, který tyto nástroje produkují, protože nízká kvalita kódu by mohla potenciálně způsobit více škody než užitku, zejména pokud jde o běžné bezpečnostní chyby ve zdrojovém kódu. Tato práce stanovuje dva klíčové cíle. Prvním cílem je vyhodnotit nejlepší nástroj založený na umělé inteligenci ze seznamu dostupných alternativ (GitHub Copilot, Tabnine, ChatGPT a CodeGeex) na základě kvality produkovaného kódu. Experimenty ukazují, že GitHub Copilot dosáhl nejlepších výsledků. Druhým cílem je nasazení vlastního VJM nástroje pro generování kódu pomocí platformy TabbyML a cloudového hostingu. Tento nástroj je následně integrován s vývojovými prostředími.

Abstract:

In recent years, applications of artificial intelligence have seen notable success across various fields. Large Language Models (LLMs) have particularly found extensive use in the field of software development. From source code generation and code understanding to documentation translation, tools based on LLMs can enhance the effectiveness of the software development life cycle and assist software engineers in their daily tasks, all within the comfort of their favorite Integrated Development Environments (IDEs). An open question regarding these tools revolves around the quality of the source code they produce, as low-quality code could potentially do more harm than good, especially when it comes to common security vulnerabilities in source code. Building upon this line of thought, this work establishes two key goals. The first goal is to identify the best AI-based tool from a selected list of popular options, including GitHub Copilot, Tabnine, ChatGPT, and CodeGeex, for source code generation based on the quality of the produced code. The experiments reveal that GitHub Copilot takes primacy, demonstrating the best results across eight research questions. The second goal involves deploying a custom LLM tool for code generation using the TabbyML platform and cloud hosting. This custom tool is then integrated with IDEs.

Keywords

Large Language Models, Transformer, Deep Learning, Static Code Analysis, Software Quality, Vulnerabilities

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 15. 12. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 5. 2. 2024
• Vedúci: PhD Bruno Rossi
• Oponent: PhD Hind Bangui

Masaryk University

Faculty of Informatics

Master programme / odbor:
Software Engineering / Design and development of software systems