Přizpůsobený transformer model pro efektivní získávání informací z učebnic

John Akowuah Tawiah

Master's thesis

Customized Transformer Model for Efficient Extraction of Information from Textbooks

Abstract:

ABSTRACT With the emergence and popularity of Large Language Models (LLM), obtaining information has always been challenging. However, these LLMs are trained on the text corpus of the Internet, and the training data has a cut-off date; hence, in most cases, the data is out of date when the model is released. This thesis would investigate the possibility of researching a solution that allows users to access concise information from a large corpus like an educational textbook. The proposed solution is to implement a Retrieval Augmentation Generation application enabling users to work with an LLM using their private data. The thesis will also investigate the possibility of using this approach locally instead of using vast and cumbersome models online. The results demonstrated that this approach is feasible and works well for different textbooks irrespective of their size, and output results are also good. This thesis provides valuable insights into how architecture works and provides the right tools to implement this solution.

Abstract:

Se vznikem a popularitou velkých jazykových modelů (LLM) bylo získávání informací vždy náročné. Tyto LLM jsou však trénovány na textovém korpusu internetu a trénovací data mají datum uzávěrky; proto jsou ve většině případů data při vydání modelu zastaralá. Tato práce by zkoumala možnost výzkumu řešení, které uživatelům umožní přístup ke stručným informacím z rozsáhlého korpusu, jako je výuková učebnice. Navrhovaným řešením je implementace aplikace Retrieval Augmentation Generation umožňující uživatelům pracovat s LLM pomocí jejich soukromých dat. Práce bude také zkoumat možnost použití tohoto přístupu lokálně namísto používání rozsáhlých a těžkopádných modelů online. Výsledky ukázaly, že tento přístup je proveditelný a funguje dobře pro různé učebnice bez ohledu na jejich velikost, a také výstupní výsledky jsou dobré. Tato práce poskytuje cenné poznatky o tom, jak architektura funguje, a poskytuje správné nástroje pro implementaci tohoto řešení.

Keywords

LLM, RAG, textový korpus

Language used: English

Date on which the thesis was submitted / produced: 13. 5. 2024

Thesis defence

• Supervisor: doc. Ing. Michal Pluháček, Ph.D.

Tomas Bata University in Zlín

Faculty of Applied Informatics

Master programme / field:
Information Technologies / Software Engineering