Transformery a zpracování textu

Bc. Michael Bartoš

Master's thesis

Transformers and text processing

Abstract:

Diplomová práce je rešerší tvořící holistický pohled na optimalizaci, respektive limitace dotazovacích metod a práce s velkými jazykovými modely, dále jen LLM, s transformer architekturou. Cílem je prezentovat metody použitelné k dosažení co nejlepších výsledků, ale i lokalizovat původce limitací mimo dotazování. Práce popisuje jednotlivé části LLM od principů zpracování přirozeného jazyka, dále jen NLP, až po detaily designování dotazů a je zakončena souhrnem směru vývoje LLM ve vztahu k jednoduchosti použití. Významnost práce spočívá v pohledu na problematiku skrze komunikaci mezi člověkem a strojem. Oba disponují jiným vnímáním světa a jinými vlastnostmi a schopnostmi fungování v něm. Výsledky rešerše ukazují, že v budoucnu budou techniky dotazování jiné, než je známe dnes a zároveň budou LLM schopnější díky efektivnějším metodám trénování nebo změnám v transformer architektuře.

Abstract:

The diploma thesis is a research work that presents a holistic view of optimizing and addressing the limitations of prompting methods and working with LLMs using transformer architecture. The goal is to present methods applicable to achieving the best results and identify the origins of limitations beyond prompting. The thesis describes various aspects of LLM, from the principles of NLP to details about prompt-engineering, and concludes with a summary of the direction of LLM development concerning ease of use. The significance of the work lies in the perspective on the issue through the communication between humans and machines. Both possess different perceptions of the world and different characteristics and abilities to function within it. The research results indicate that in the future, prompting techniques will be different from what we know today, and LLMs will be more capable due to more efficient training methods or changes in the transformer architecture.

Keywords

umělá inteligence, velké jazykové modely, zpracování přirozeného jazyka

Keywords

embedding

Language used: Czech

Date on which the thesis was submitted / produced: 14. 8. 2023

Thesis defence

• Date of defence: 6. 9. 2023
• Supervisor: Ing. Karel Mls, Ph.D.
• Reader: doc. Ing. Hana Tomášková, Ph.D.

University of Hradec Králové

Faculty of Informatics and Management

Master programme / field:
Aplikovaná informatika / Aplikovaná informatika