Porozumění řeči založené na neuronových sítích

Bc. Adam FRÉMUND

Diplomová práce

Spoken language understanding based on neural networks

Anotace:

Tato diplomová práce se zabývá použitím neuronových sítí pro zpracování přirozeného jazyka. V posledních letech se v této oblasti umělé inteligence začaly hojně využívat modely s architekturou Transformer. Právě tyto modely a~jejich struktura jsou důkladně rozebrány v teoretické části této práce. Bližší pohled je pak věnován jedněm z nejmodernějších a~nejúspěšnějších modelů, a~to modelům typu BERT a~T5. V praktické části je s těmito modely experimentováno. Jsou použity pro řešení dvou úloh zpracování přirozeného jazyka. První úlohou je analýza sentimentu anglických a~českých filmových recenzí. Druhou úlohou je detekce entit. Nejprve jsou modely použity pro detekci pojmenovaných entit v textech. Následně je T5 model aplikován pro porozumění mluvené řeči, především pak k detekci sémantických entit v řečových korpusech. Tato diplomová práce je prvním vědeckým článkem věnujícím se T5 modelu pro úlohy zpracování českého jazyka.

Abstract:

This master thesis deals with the use of artificial neural networks for natural language processing. In recent years, models with the Transformer architecture have become widely used in this field of artificial intelligence. It is these models and their structure that are thoroughly discussed in the theoretical part of this work. A closer look is devoted to BERT and T5 models. In the practical part, these models are experimented with. They are used to solve two natural language processing tasks. Firstly, to analyze the sentiment of English and Czech film reviews. The second task is an entity detection. First, models are used to detect named entities in texts. And then the T5 model is applied for the spoken language understanding task, especially for the detection of semantic entities in speech corpora. This master thesis is the first scientific article devoted to the T5 model for Czech language processing tasks.

Klíčová slova

zpracování přirozeného jazyka, porozumění řeči, neuronové sítě, transformer achitektura, BERT model, T5 model, analýza sentimentu, detekce pojmenovaných entit

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 6. 5. 2021

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Jan Švec, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Magisterský studijní program / obor:
Aplikované vědy a informatika / Kybernetika a řídicí technika