Automating Event Stream Definition in Kafka Ecosystem Using Large Language Models

Bc. Patrik Szabó

Master's thesis

Abstract:

Cieľom tejto diplomovej práce je nakonfigurovať a integrovať existujúci LLM tak, aby dokázal interpretovať požiadavky v prirodzenom jazyku a prekladať ich do úprav v rámci Apache Kafka klastru. Táto úloha zahŕňa využitie LLM na presné porozumenie ľudského jazyka v kontexte konfiguračných úloh systému. Zároveň ide o mapovanie takto interpretovaných požiadaviek na platformu typu event hub, ktorá riadi topológiu dátových tokov a generuje zodpovedajúce konfiguračné zmeny. Systém bude autonómne premieňať používateľské požiadavky na reprezentáciu konfigurácie dátových streamov, aplikovať potrebné úpravy v Kafka klastri a následne vytvárať merge requesty do Git repozitára, ktorý udržiava aktuálny stav nasadených Kafka artefaktov. Cieľom práce je zlepšiť end-to-end integráciu LLM s Apache Kafka, so zameraním najmä na správu aktívnych dátových streamov. Zámerom je vytvoriť spoľahlivý a plynulý pracovný postup, ktorý automatizuje procesy a minimalizuje potrebu manuálnych zásahov. Práca je realizovaná v spolupráci so spoločnosťou SOFTEC spol. s r.o. a jej ambíciou je priniesť praktické a škálovateľné riešenie pre správu event-driven systémov, v súlade s aktuálnymi priemyselnými štandardmi.

Abstract:

The objective of this thesis is to configure and integrate an existing Large Language Model (LLM) to interpret natural language requests and translate them into modifications within an Apache Kafka cluster. This task involves utilizing a LLM to accurately interpret human language in the context of system configuration tasks. Additionally, it includes mapping these interpreted requests to an event hub platform that manages data stream topology and generates corresponding configuration changes. The system will autonomously transform user requests into event stream configuration representations, apply the necessary modifications to the Kafka cluster, and submit the resulting changes as merge requests to a Git repository that maintains the current state of the deployed Kafka artifacts. The goal of this thesis is to improve the end-to-end integration of the LLM with Apache Kafka, with a particular focus on managing active data streams. The aim is to establish a seamless and reliable workflow that automates processes and minimizes the need for manual intervention. Conducted in collaboration with SOFTEC spol. s r.o., this work aims to deliver a practical, scalable solution for event-driven system management in alignment with industry standards.

Keywords

LLM, Event Driven, Apache Kafka, Automation, AI

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2025

Thesis defence

• Date of defence: 19. 6. 2025
• Supervisor: RNDr. Mgr. Jaroslav Bayer
• Reader: RNDr. Ing. Lucie Pekárková

Masaryk University

Faculty of Informatics

Master programme / field:
Software Engineering / Design and development of software systems