Zpracování textu pomocí hlubokých neuronových sítí

Petr Kožušník

Master's thesis

Text Processing using Neural Networks

Anotácia:

Tato práce se zabývá využitím hlubokých neuronových sítí, zejména modelů transformer, v oblasti zpracování přirozeného jazyka (NLP). Poskytuje obecný přehled fungování neuronových sítí, popisuje její základní principy, aplikace a motivace pro jejich použití v NLP. Model transformer je popsán přesněji s~cílem objasnit jeho inovativní architekturu, včetně mechanismu pozornosti, a~vysvětlit jeho výhody. Práce si klade za cíl přispět k~poznatkům o fungování transformerů, zhodnotit jejich vliv na~pokrok v řešení NLP a posloužit jako reference pro oblast zpracování přirozeného jazyka pomocí hlubokých neuronových sítí. Součástí výstupu práce jsou volně dostupné referenční řešení úloh, nebo datová sada, připravená pro úlohy maskovaného modelování jazyka a predikce následující věty, podobná datovým sadám užívaným k~předtrénování současných state-of-the-art modelů, jako je BERT. Dále je součástí implementace vzorového transformer modelu, včetně jeho předtrénování a zkoumána jeho výkonnost v úloze extraktivního odpovídání na~otázky. Jednotlivé úlohy, na~kterých je demonstrována zejména výkonnost jazykových modelů a problematika správného předzpracování dat jsou řešeny pomocí ladění modelu disilBERT.

Abstract:

This paper explores the use of deep neural networks, particularly transformer models, in the field of natural language processing (NLP). It provides a general overview of how neural networks work, describing its basic principles, applications and motivations for their use in NLP. The transformer model is described in more detail in order to explain its innovative architecture, including its attention mechanism, and to explain its advantages. The paper aims to contribute to~knowledge about the operation of transformers, to evaluate their impact on~advances in NLP solutions, and to serve as a reference for the field of natural language processing using deep neural networks. The output of the work includes freely available reference solutions to the problems, or dataset, prepared for masked language modeling and next-sentence prediction tasks, similar to the dataset used to~pre-train current state-of-the-art models such as BERT. Furthermore, the implementation of the sample transformer model, including its pre-training, is included and its performance in the extractive question answering task is investigated. In particular, individual tasks on~which the performance of language models and the issue of correct data preprocessing are demonstrated are solved by tuning the disilBERT model.

Kľúčové slová

strojové učení, umělé neuronové sítě, hluboké učení, zpracování přirozeného jazyka, klasifikace textu, rozpoznávání pojmenovaných entit, extraktivní odpovídání na~otázky, model transformer, mechanismus pozornosti, velké jazykové modely, vektory vložení, distilBERT, trénování modelů, jemné ladění, předzpracování dat, hyperparametrizace

Keywords

machine learning, artificial neural networks, deep learning, natural language processing, text classification, named entity recognition, extractive question answering, model transformer, attention mechanism, large language models, embedding vectors, distilBERT, model training, fine tuning, data preprocessing, hyperparametrization

Jazyk práce: Czech

Datum vytvoření / odevzdání či podání práce: 15. 7. 2024

Obhajoba závěrečné práce

• Vedúci: Jan Platoš
• Oponent: Michal Vašinek, Michal Vašinek

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / odbor:
Informační a komunikační technologie / Informatika a výpočetní technika