Automation of the Private LLM Environment and Implementation of the LLMOps Concept

Bc. Lukáš Večerka

Diplomová práce

Anotace:

Organizace nasazující velké jazykové modely na vlastní infrastruktuře čelí provoznímu nedostatku: open-weight modely a runtime pro jejich inferenci od roku 2023 výrazně pokročily, avšak žádná integrovaná self-hosted LLMOps platforma nepokrývá privátní nasazení společně s gateway a observability vrstvami nezbytnými pro produkční provoz. Tato práce navrhuje a vyhodnocuje nástrojově nezávislou referenční architekturu uspořádanou do tří funkčních bloků — model serving, API gateway a observability — vyvinutou pro slovenského telekomunikačního operátora. Architektura je realizována pomocí nástrojů GPUStack, LiteLLM a Langfuse, doplněných o sadu Grafana dashboardů pro import do existující infrastruktury Prometheus a Grafana. Referenční nasazení obsluhuje model MiniMax M2.5 — Mixture-of-Experts model s 229 miliardami parametrů — na pronajaté evropské infrastruktuře 4×H100 a je vyhodnoceno vůči čtyřem návrhovým omezením, deseti funkčním, čtyřem nefunkčním a sedmi provozním požadavkům prostřednictvím inspekce, programových testů a měření pod zátěží odvozenou z reálných produkčních záznamů modelu Qwen. Vyhodnocení prokazuje, že referenční nasazení úspěšně splňuje všechny stanovené požadavky. Nasazení dosahuje saturace při 25 souběžných uživatelích s maximální výstupní propustností 900 tokenů za sekundu, přičemž limitujícím faktorem je vyčerpání KV-cache, nikoliv výpočetní výkon. Náklady při špičkovém využití dosahují 0,54 USD za milion kombinovaných tokenů, což je více než u komerčních alternativ pro tentýž model. Platforma je v pilotním provozu v interní AI výzkumné laboratoři.

Abstract:

Organizations deploying large language models on their own infrastructure face an operational gap: open-weight models and serving runtimes have matured since 2023, but no integrated self-hostable LLMOps platform covers private deployment together with the gateway and observability layers needed for production. This work designs and evaluates a tool-agnostic reference architecture organized around three functional blocks — model serving, API gateway, and observability — developed for a Slovak telecommunications operator. The architecture is instantiated with GPUStack, LiteLLM, and Langfuse, plus bundled Grafana dashboards for import into existing Prometheus and Grafana infrastructure. The reference deployment serves MiniMax M2.5, a 229-billion-parameter Mixture-of-Experts model, on rented European 4×H100 infrastructure, and is evaluated against four design constraints, ten functional, four non-functional, and seven operational requirements through inspection, programmatic tests, and measurement under workloads derived from real Qwen production traces. The evaluation demonstrates that the reference deployment successfully satisfies all established requirements. The deployment saturates at 25 concurrent users with a peak output throughput of 900 tokens per second, bounded by KV-cache exhaustion rather than compute. Cost at peak utilization reaches $0.54 per million blended tokens, higher than commercial alternatives for the same model. The platform is in pilot use at an internal AI research lab.

Keywords

LLMOps, private LLM deployment, self-hosted infrastructure, reference architecture, model serving, LLM gateway, LLM observability, Large Language Models, privátní nasazení LLM, referenční architektura, velké jazykové modely

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2026

Obhajoba závěrečné práce

• Obhajoba proběhla 17. 6. 2026
• Vedoucí: doc. RNDr. Petr Sojka, Ph.D.
• Oponent: RNDr. Lukáš Hejtmánek, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Softwarové inženýrství / Návrh a vývoj softwarových systémů