Evaluace RAG systémů a LLM na češtině – Tereza BROŽOVÁ

Anotace:

Práce se zabývá návrhem a evaluací systému Retrieval-Augmented Generation (RAG) pracujícího s českými texty. V teoretické části práce jsou vymezeny klíčové koncepty z oblasti zpracování přirozeného jazyka, neuronových sítí a umělé inteligence. Dále je objasněna role metod, jako je fine-tuning, promptování, chunking a využití vektorových databází v kontextu systémů RAG. Cílem experimentální části práce je otestovat schopnosti embedding modelů při vektorizaci českých textů a vyhodnotit, s jakou přesností lze ve vektorové databázi na základě sémantické podobnosti nalézat relevantní texty správně zodpovídající zadané otázky. Dva nejpřesnější modely - jeden placený a jeden bezplatný - jsou následně integrovány do systému RAG, kde jsou otestovány v kombinaci se dvěma generativními jazykovými modely. Cílem je zjistit, zda tyto modely dokážou generovat správné odpovědi na otázky na základě relevantních textů získaných z databáze, a zda může být systém RAG používající češtinu dostatečně efektivní pro praktické využití. …víceméně

Abstract:

The aim of this thesis is to design and evaluate a Retrieval-Augmented Generation (RAG) system using Czech texts. The theoretical part of the thesis defines key concepts in the field of natural language processing, neural networks and artificial intelligence. Further on, the role of methods such as fine-tuning, prompting, chunking and the use of vector databases in the context of RAG systems is explained. The aim of the experimental part of the thesis is to test the capability of the embedding models in vectorizing Czech texts and to evaluate the accuracy with which relevant texts correctly answering the given questions can be found in the vector database based on semantic similarity. The two most accurate models - one paid and one free - are then integrated into the RAG system, where they are tested in combination with two generative language models. The aim is to determine whether these models can generate correct answers to questions based on the relevant texts retrieved from the database, and whether a RAG system using Czech can be effective enough for practical use. …víceméně