Neuronové sítě pro zpracování přirozeného jazyka

Jan ČEDÍK

Bakalářská práce

Neural networks for natural language processing

Anotace:

Tato bakalářská práce se zabývá zpracováním přirozeného jazyka pomocí neuronových sítí. V současnosti dochází k rychlému rozvoji neuronových sítí v tomto oboru, přičemž společnost OpenAI je hlavním průkopníkem s jejími velkými modely založenými na architektuře Transformer. Teoretická část se zaměřuje právě na tuto architekturu, konkrétně na architektury T5, BERT a GPT. V praktické části provádíme experimenty jak v češtině, tak v angličtině, založené na architektuře T5. Shromáždili jsme data obsahující přirozené dialogy mezi jednotlivci. Pro dosažení co nejlepších předpovědí výstupu se snažíme o různé modifikace trénovacích dat, jako je značkování nebo augmentace. Hodnocení se provádí pomocí modelu sémantické návaznosti, který porovnává vstup a výstup modelu.

Abstract:

This bachelor's thesis deals with natural language processing using neural networks. Currently, there is a rapid development of neural networks in this field, with the company OpenAI being a major pioneer with its large models based on the Transformer architecture. The theoretical part focuses on this architecture, specifically the T5, BERT, and GPT architectures. In the practical part, we conduct experiments in both Czech and English languages based on the T5 architecture. We gathered data containing natural dialogues between individuals. Through various modifications of the training data, such as tagging or augmentation, we aim to achieve the best possible output predictions. Evaluation is performed using a semantic continuity model, comparing the input and output of the model.

Klíčová slova

neuronové sítě, zpracování přirozeného jazyka, Transformer architektura, BERT, T5, GPT, augmentace, úprava dat, chatbot

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 22. 5. 2023

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Martin Bulín, M.Sc.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Bakalářský studijní program / obor:
Kybernetika a řídicí technika / Umělá inteligence a automatizace