Embedding dat pro velké jazykové modely

Šimon Nehéz

Bachelor's thesis

Embedding Data for Large Language Models

Abstract:

Bakalárska práca sa zaoberá prevodom rôznych súborových formátov do vektorovej podoby pričom hodnotí kvalitu týchto vektorov. Teoretická časť práce opisuje rôzne metódy prevodu textu do vektorovej podoby, zatiaľ čo praktická časť obsahuje zostavenie testovacieho datasetu, vytvorenie prototypu webovej aplikácie na generovanie embeddingov v jazyku Python a vyhodnotenie experimentu. Experiment ukázal minimálne rozdiely v kvalite embeddingov medzi skúmanými súborovými formátmi (maximálny rozdiel 2.7 percenta) pričom formát CSV bol najefektívnejší z hľadiska časovej náročnosti načítania súborov. Formát TXT dosiahol najnižšiu pamäťovú náročnosť zatiaľ čo formát HTML bol najpomalší a najviac pamäťovo náročný. Práca poskytuje hodnotné poznatky o výkonnosti rôznych súborových formátov pre embeddovanie dát.

Abstract:

The bachelor thesis deals with the conversion of various file formats into vectors while evaluating the quality of these vectors. The theoretical part of the thesis describes multiple methods of converting text to vector representation, while the practical part includes the construction of a test dataset, the creation of a prototype web application for generating embeddings in Python and the evaluation of the experiment. The experiment showed minimal differences in the quality of embeddings between the file formats studied (maximum difference of 2.7 percent), with the CSV format being the most efficient in terms of time required to load the files. The TXT format achieved the lowest memory intensity while the HTML format was the slowest and most memory intensive. The work provides valuable insights into the performance of different file formats for data embedding

Keywords

embedding, veľké jazykové modely, súborové formáty, sémantická podobnosť

Language used: Czech

Date on which the thesis was submitted / produced: 10. 5. 2024

Thesis defence

• Supervisor: Ing. Jozef Kováč

Tomas Bata University in Zlín

Faculty of Applied Informatics

Bachelor programme / field:
Software Engineering / Software Engineering