Customization of LLM-specific modules within ChatGPT

Aleksandra Matveeva

Bachelor's thesis

Customizace LLM-specifických modulů v rámci ChatGPT

Abstract:

Cílem dané bakalářské práce je vyvinuti dvou odlišných speciálních verzí ChatGPT určené pro konkrétní moduly od základů a vyhodnotit, zda tyto přizpůsobené verze fungují lépe a jsou snazší na používání ve srovnání se standardním ChatGPT. Pro hodnocení a srovnání budou pozváni experti z příslušných oborů, kteří tyto velké jazykové modely otestují a poskytnou své postřehy. Motivací pro tuto práci je rostoucí zájem a možnosti pro vytváření přizpůsobených verzí ChatGPT. Klíčovými aspekty jsou použitelnost, rozdíly oproti standardnímu modelu a snadnost používání. Kromě toho je zde osobní zájem zjistit, zda zůstanou vytvořené přizpůsobené modely užitečné i po dokončení této práce a zda nabídnou jakékoli budoucí aplikace. Tato práce je rozdělena do dvou hlavních částí: teoretické a praktické. Teoretická část poskytuje komplexní přehled a úvod do velkých jazykových modelů, popisuje specifika generativních předtrénovaných transformátorů (GPT). Zabývá se zásadním konceptem promptů, diskutuje, jak je mohou uživatelé efektivně využívat. Dále tato část popisuje složitosti jemného ladění a zásady RAG v kontextu těchto modelů. Praktická část práce popisuje vývoj dvou odlišných speciálních verzí ChatGPT. První verze je navržena tak, aby pomáhala s tvorbou životopisů, zatímco druhá je přizpůsobena pro pomoc uživatelům v přípravě na Test znalosti japonského jazyka (JLPT) a také učitelům s plánováním hodin a školními úkoly. Tato část nejen podrobně popisuje proces vytváření, ale také zkoumá konkrétní funkcionality a aplikace každé přizpůsobené verze. Ve závěru bakalářské práce byly shrnuty výsledky hodnocení přizpůsobených modelů ChatGPT, včetně celkového hodnocení každé verze na základě jejich výkonu. Závěr také nastínil potenciální aplikace pro tyto specializované GPT, navrhuje způsoby, jak by mohly být efektivně začleněny do příslušných oblastí za účelem zlepšení úkolově specifických funkcionalit a zkušeností uživatelů.

Abstract:

The goal of this thesis is to develop two distinct custom versions of ChatGPT tailored for specific modules from scratch, and to evaluate whether these customized versions perform better and are easier to use compared to the standard ChatGPT. For the evaluation and comparison, experts in relevant fields will be invited to test these large language models and provide their insights. The motivation for this thesis stems from the growing interest in and possibilities for creating customized versions of ChatGPT. Key considerations include usability, differences from the standard version, and ease of use. Additionally, there is a personal interest of the author in determining whether the custom models created will remain useful beyond the completion of this thesis and if they will present any future applications. This thesis is divided into two main sections: theoretical and practical. The theoretical part provides a comprehensive overview and introduction to large language models, describing the specifics of Generative Pre-trained Transformers (GPTs). It covers the essential concept of prompts, discussing how they can be effectively utilized by users. Additionally, this section describes the complexities of fine-tuning and the principles of RAG in the context of these models. The practical part of the thesis describes the development of two distinct custom versions of ChatGPT. The first version is designed to assist with creating resumes, while the second is tailored to aid users in preparing for the Japanese Language Proficiency Test (JLPT), as well as helping teachers with lesson planning and school-related tasks. This section not only details the creation process but also examines the specific functionalities and applications of each customized version by the experts. In the conclusion of the thesis, the evaluation results of the customized ChatGPT were summarized. The conclusion also outlined potential applications for these specialized GPTs, suggesting ways they could be effectively integrated into relevant fields to enhance task-specific functionalities and user experiences.

Keywords

ChatGPT, AI, Customizace, LLM, GPTs, Přizpůsobitelnost

Keywords

ChatGPT, GPTs, Customization, Adaptability, LLM

Language used: English

Date on which the thesis was submitted / produced: 4. 5. 2024

Thesis defence

• Date of defence: 13. 6. 2024
• Supervisor: David Chudán
• Reader: Petr Máša

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika