Zpracování textu pomocí hlubokých neuronových sítí

Vojtěch Prokop

Master's thesis

Text Processing using Neural Networks

Abstract:

Diplomová práce se zabývá popisem jednotlivých bloků procesu zpracování přirozeného jazyka od přípravy textových dat, předzpracování, až po návrh modelů, které řeší klasifikační problém nad jazykovým korpusem. V teoretické části jsou detailněji popsány modely od klasických přístupů strojového učení, až po hojně využívanou architekturu Transformer. Právě modely, které jsou založeny na této architektuře, jejich struktura a výkonost je hlavním doménou této diplomové práce. V praktické části jsou provedeny experimenty nad různými přístupy a následně srovnány jejich výsledky. Jsou použity 3 přístupy, vektorizace textu a následné využití klasických modelů, využití architektur neuronových sítí až po architekturu Transformer a v poslední řadě využití derivátu BERT modelu ve spojení s hlubokou dopřednou sítí. Nad všemi těmito modely byla zkoumána kvalita přesnosti u problému autorství, kde k neznámému textu model odhadoval s určitou přesností možného autora.

Abstract:

The thesis deals with the description of the different blocks of the natural language processing process from the preparation of text data, pre-processing, to the design of models that solve the classification problem over the language corpus. In the theoretical part, models ranging from classical machine learning approaches to the widely used Transformer architecture are described in detail. It is the models that are based on this architecture, their structure and performance that is the main domain of this thesis. In the practical part, experiments are performed over the different approaches and then their results are compared. Three approaches are used, text vectorization and the subsequent use of classical models, the use of neural network architectures up to the Transformer architecture and lastly the use of a derivative of the BERT model in conjunction with a deep forward network. Over all of these models, the quality of accuracy was investigated for the authorship problem, where, given an unknown text, the model estimated a possible author with some confidence.

Keywords

zpracování přirozeného jazyka, neuronové sítě, určení autorství, Transformer architektura, BERT model, ELECTRA, DistilBERT

Keywords

natural language processing, artificial neural networks, authorship identification, Transformer architecture, BERT model, ELECTRA, DistilBERT

Language used: Czech

Date on which the thesis was submitted / produced: 30. 4. 2022

Thesis defence

• Date of defence: 31. 5. 2022
• Supervisor: Jan Platoš
• Reader: Jiří Dvorský

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / field:
Informační a komunikační technologie / Informatika a výpočetní technika