Webová rozhraní pro práci s velkými jazykovými modely

Martin Timoščuk

Bachelor's thesis

Web interfaces for working with large language models

Abstract:

Bakalářská práce se zaměřuje na bezplatné nástroje pro zprostředkování velkých jazykových modelů (LLM) na lokálním hardware. V teoretické části je proveden průzkum souvisejících technologií a je představen teoretický základ pro pochopení problematiky. Byly identifikovány tři hlavní směry. Těmi jsou vývoj aplikací, tvorba modelů, a infrastrukturní technologie. Re- levantní veřejně dostupné softwarové projekty byly stručně představeny za účelem vytvoření přehledu. V praktické části byly vybrané nástroje zprovozněny nad modelem Llama 3 a jejich základní funkcionality byly předvedeny. Dále byla implementována demonstrativní webová aplikace pro validaci tvrzení oproti zadanému internetovému zdroji. Základem aplikace je existující validační skript, který byl adaptován pro účely aplikace. Aplikace integruje zprovozněné nástroje a na její implementaci jsou znázorněny koncepty, které se mohou v aplikacích nad LLM vyskytnout. Využita byla lokální infrastruktura univerzity. Následně bylo provedeno stručné srovnání zprovozněných technologií z kvalitativního hlediska a bylo určeno jejich nejvhodnější využití.

Abstract:

This bachelor’s thesis focuses on free tools for deploying large language models (LLMs) on local hardware. The theoretical section surveys related technologies and presents the foundational theory necessary for creating an understanding of the area. Three main directions were identified: application development, model development, and infrastructure technologies. Relevant publicly available software projects are briefly introduced to provide an overview. In the practical section, selected tools were deployed using the Llama 3 model and their basic functionalities were demonstrated. Additionally, a demonstrative web application was implemented to validate statements with a given internet source. The application is based on an existing validation script which was adapted for the purpose of this paper. The application integrates the deployed LLM tools, illustrating concepts that can be encountered in applications using LLMs. The university’s local infrastructure was utilized. Finally, a brief qualitative comparison of the deployed technologies was conducted, and their most suitable use case was identified.

Keywords

webové technologie, API, infrastruktura, Velké jazykové modely, inference

Keywords

Large language models, infrastructure, web technologies, API, inference

Language used: Czech

Date on which the thesis was submitted / produced: 27. 6. 2024

Thesis defence

• Date of defence: 2024
• Supervisor: Tomáš Kliegr
• Reader: Stanislav Vojíř

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika