Velké jazykové modely: výkonnost ve středoškolské češtině a matematice

Jan Richter

Bakalářská práce

Large Language Models: Performance in High School Czech Language and Mathematics

Anotace:

V posledních letech se velké jazykové modely (LLM) vyvíjejí mimořádně rychle a jejich využití v každodenním životě i odborné praxi výrazně narůstá. Ačkoli jsou tyto modely vyvíjeny převážně v USA a Asii, dokážou komunikovat ve mnoha jazycích, včetně češtiny. Otázkou však zůstává, jak dobře současné LLM českému jazyku skutečně rozumějí a nakolik jsou schopny řešit středoškolské matematické úlohy zadané v češtině. Cílem této bakalářské práce je zhodnotit úroveň jazykových a matematických schopností nejnovější generace LLM a porovnat jejich výkonnost s výsledky starších modelů. Testování probíhalo na úlohách převzatých ze standardizovaných maturitních didaktických testů a testů SCIO, což umožňuje přímé srovnání. Do analýzy byly zahrnuty jak nejmodernější closed-source modely jako je GPT nebo Gemini, tak výkonné open-source modely jako Gemma, Qwen či Llama. Výkonnosti jednotlivých modelů jsou vzájemně porovnány a konfrontovány s daty z bakalářské práce K. Hrabáčové (Hrabáčová, 2024), která mapuje výkonnost starších generací LLM. Výsledky ukazují výrazné zlepšení schopností současných LLM v českém jazyce i matematice, přestože určité slabiny přetrvávají, zejména v oblasti detekce gramatických chyb. Práce tak přispívá k hlubšímu porozumění možnostem i limitům aktuálních LLM a dokládá rychlý vývoj tohoto technologického odvětví.

Abstract:

In recent years, large language models (LLMs) have been developing at an exceptional pace, and their use in both everyday life and professional practice has grown significantly. Although these models are primarily developed in the United States and Asia, they can communicate in many languages, including Czech. However, the question remains as to how well current LLMs truly understand the Czech language and to what extent they can solve high-school mathematics problems presented in Czech. The aim of this bachelor thesis is to evaluate the level of linguistic and mathematical capabilities of the latest generation of LLMs and to compare their performance with the results of older models. Testing was conducted using tasks adapted from standardized high-school didactic tests and SCIO tests, enabling direct comparison. The analysis incorporates both state-of-the-art closed-source models, such as GPT and Gemini, and powerful open-source models, such as Gemma, Qwen, and Llama. The performance of individual models is cross-compared and compared against data from the bachelor thesis of K. Hrabáčová (Hrabáčová, 2024), which maps the performance of older generations of LLMs. The results demonstrate a significant improvement in the capabilities of current LLMs in both the Czech language and mathematics, although certain weaknesses persist, mainly in the domain of grammatical error detection. This thesis thus contributes to a deeper understanding of the capabilities and limitations of current LLMs and illustrates the rapid evolution of this technological field.

Klíčová slova

LLM, velké jazykové modely, AI, umělá inteligence, český jazyk, matematika, komparace LLM, čeština

Keywords

large language models, AI, Czech language, mathematics, comparison of LLMs, LLM, artificial intelligence

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 5. 12. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 27. 1. 2026
• Vedoucí: David Chudán
• Oponent: Vilém Sklenák

Vysoká škola ekonomická v Praze

Bakalářský studijní program:
Aplikovaná informatika