Using LLM to optimize a GPU-accelerated code

Bc. Lukáš Dadák

Bakalářská práce

Anotace:

Optimalizace GPU kernelů má dvě části: napsání kódu a odladění konfiguračních parametrů (block sizes, tile sizes, unroll factors), které ovlivňují jeho výkon. Velké jazykové modely (LLM) mají potíže s obojím. Na benchmarku KernelBench produkují nejpokročilejší modely správné a konkurenceschopné kernely v méně než 20 % případů, částečně proto, že nedokážou empiricky prozkoumávat prostor parametrů. V této práci navrhuji a implementuji CACAO (CUDA Agentic Coding Autotuning Optimizer): LLM iterativně píše CUDA kernel a jeho prostor parametrů, Kernel Tuning Toolkit (KTT) jej automaticky ladí na reálném hardwaru, NVIDIA Nsight Compute profiluje nejlepší konfiguraci a LLM na základě výsledků volí jednu ze čtyř agentních akcí: pokračovat, opravit, větvit na dílčí strategie nebo zastavit. Větve jsou prozkoumávány paralelně, stav se po každém kroku ukládá a webové rozhraní umožňuje interaktivní řízení. CACAO jsem vyhodnotil na třech semestrálních projektech z předmětu PV197 (GPU programming) na Fakultě informatiky, na kartách GTX 1070 a RTX 2080 Ti, s použitím tří open-weight reasoning modelů (Kimi k2.6, Qwen 3.5, GLM-5). Napříč šesti kombinacemi (úloha, GPU) dosáhl nejlepší běh CACAO 92–129 % nejlepšího studentského výsledku a na dvou z nich dorovnal nebo překonal nejlepší studentský kernel.

Abstract:

Optimizing GPU kernels is a two-part problem: writing the algorithm and tuning the configuration parameters (block sizes, tile sizes, unroll factors) that determine its performance. Large Language Models struggle on both. On KernelBench, frontier models produce correct and competitive kernels less than 20% of the time, partly because they cannot empirically navigate the parameter space. In this thesis I design and implement CACAO (CUDA Agentic Coding Autotuning Optimizer): an LLM iteratively writes a CUDA kernel and its parameter space, the Kernel Tuning Toolkit (KTT) autotunes it on real hardware, NVIDIA Nsight Compute profiles the best configuration, and the LLM reasons over the results and chooses one of four agentic actions: continue, retry, branch into sub-strategies, or stop. Branches are explored in parallel; state is persisted after each step, and a web frontend exposes interactive control. I evaluated CACAO on three assignments from the Faculty of Informatics' PV197 GPU programming course, on a GTX 1070 and an RTX 2080 Ti, using three open-weight reasoning models (Kimi k2.6, Qwen 3.5, GLM-5). Across the six (problem, GPU) cells, the best CACAO run reached 92–129% of the student best, matching or exceeding the cohort's top kernel on two of them.

Keywords

GPU, LLM, autotuning, CUDA, KTT, CACAO

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 21. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2026
• Vedoucí: doc. RNDr. Jiří Filipovič, Ph.D.
• Oponent: RNDr. David Střelák, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Programování a vývoj aplikací / Programování a vývoj aplikací