Multi-Agent LLM Pipeline for Automated Software Generation and Testing

Bc. Patrik Košťál

Bachelor's thesis

Anotácia:

Cílem této bakalářské práce je navrhnout, implementovat a vyhodnotit multiagentní LLM pipeline pro automatizované generování a testování softwaru. Práce se zabývá problémem koordinace více jazykových modelů v rámci softwarového vývoje a omezeními naivního iterativního promptování. Použité metody zahrnují stavový automat orientovaného grafu postavený nad knihovnou LangGraph, kombinaci agentních uzlů poháněných jazykovými modely s deterministickými komponentami pro extrakci kontraktů založenou na AST, klasifikaci selhání a směrování opakovaných pokusů. Cíl je naplněn implementací pipeline a jejím srovnáním vůči frameworkům MetaGPT a Claude Code na dvou úlohách generování kódu různé složitosti.

Abstract:

The goal of this bachelor's thesis is to design, implement, and evaluate a multi-agent LLM pipeline for automated software generation and testing. The thesis addresses the problem of coordinating multiple language models within software development and the limitations of naive iterative prompting. The methods used include a directed graph state machine built on top of the LangGraph library, combining LLM-powered agent nodes with deterministic components for AST-based contract extraction, failure classification, and retry routing. The goal is achieved by implementing the pipeline and comparing it against the MetaGPT and Claude Code frameworks on two code generation tasks of varying complexity.

Keywords

Agent orchestration, Automated software generation, LangGraph, Large language models, Multi-agent systems

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 23. 6. 2026
• Vedúci: doc. Ing. Václav Oujezský, Ph.D.
• Oponent: Ing. Martin Holík

Masaryk University

Faculty of Informatics

Bachelor programme / odbor:
Programming and development / Programming and development