Neuronové sítě pro zpracování přirozeného jazyka

Jan ČEDÍK

Bachelor's thesis

Neural networks for natural language processing

Abstract:

Tato bakalářská práce se zabývá zpracováním přirozeného jazyka pomocí neuronových sítí. V současnosti dochází k rychlému rozvoji neuronových sítí v tomto oboru, přičemž společnost OpenAI je hlavním průkopníkem s jejími velkými modely založenými na architektuře Transformer. Teoretická část se zaměřuje právě na tuto architekturu, konkrétně na architektury T5, BERT a GPT. V praktické části provádíme experimenty jak v češtině, tak v angličtině, založené na architektuře T5. Shromáždili jsme data obsahující přirozené dialogy mezi jednotlivci. Pro dosažení co nejlepších předpovědí výstupu se snažíme o různé modifikace trénovacích dat, jako je značkování nebo augmentace. Hodnocení se provádí pomocí modelu sémantické návaznosti, který porovnává vstup a výstup modelu.

Abstract:

This bachelor's thesis deals with natural language processing using neural networks. Currently, there is a rapid development of neural networks in this field, with the company OpenAI being a major pioneer with its large models based on the Transformer architecture. The theoretical part focuses on this architecture, specifically the T5, BERT, and GPT architectures. In the practical part, we conduct experiments in both Czech and English languages based on the T5 architecture. We gathered data containing natural dialogues between individuals. Through various modifications of the training data, such as tagging or augmentation, we aim to achieve the best possible output predictions. Evaluation is performed using a semantic continuity model, comparing the input and output of the model.

Keywords

neuronové sítě, zpracování přirozeného jazyka, Transformer architektura, BERT, T5, GPT, augmentace, úprava dat, chatbot

Language used: Czech

Date on which the thesis was submitted / produced: 22. 5. 2023

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Ing. Martin Bulín, M.Sc.

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Cybernetics and Control Engineering / Artificial Intelligence and Automation