Transformery a zpracování textu

Bc. Michael Bartoš

Diplomová práce

Transformers and text processing

Anotace:

Diplomová práce je rešerší tvořící holistický pohled na optimalizaci, respektive limitace dotazovacích metod a práce s velkými jazykovými modely, dále jen LLM, s transformer architekturou. Cílem je prezentovat metody použitelné k dosažení co nejlepších výsledků, ale i lokalizovat původce limitací mimo dotazování. Práce popisuje jednotlivé části LLM od principů zpracování přirozeného jazyka, dále jen NLP, až po detaily designování dotazů a je zakončena souhrnem směru vývoje LLM ve vztahu k jednoduchosti použití. Významnost práce spočívá v pohledu na problematiku skrze komunikaci mezi člověkem a strojem. Oba disponují jiným vnímáním světa a jinými vlastnostmi a schopnostmi fungování v něm. Výsledky rešerše ukazují, že v budoucnu budou techniky dotazování jiné, než je známe dnes a zároveň budou LLM schopnější díky efektivnějším metodám trénování nebo změnám v transformer architektuře.

Abstract:

The diploma thesis is a research work that presents a holistic view of optimizing and addressing the limitations of prompting methods and working with LLMs using transformer architecture. The goal is to present methods applicable to achieving the best results and identify the origins of limitations beyond prompting. The thesis describes various aspects of LLM, from the principles of NLP to details about prompt-engineering, and concludes with a summary of the direction of LLM development concerning ease of use. The significance of the work lies in the perspective on the issue through the communication between humans and machines. Both possess different perceptions of the world and different characteristics and abilities to function within it. The research results indicate that in the future, prompting techniques will be different from what we know today, and LLMs will be more capable due to more efficient training methods or changes in the transformer architecture.

Klíčová slova

umělá inteligence, velké jazykové modely, zpracování přirozeného jazyka

Keywords

embedding

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 14. 8. 2023

Obhajoba závěrečné práce

• Obhajoba proběhla 6. 9. 2023
• Vedoucí: Ing. Karel Mls, Ph.D.
• Oponent: doc. Ing. Hana Tomášková, Ph.D.

Univerzita Hradec Králové

Fakulta informatiky a managementu

Magisterský studijní program / obor:
Aplikovaná informatika / Aplikovaná informatika