Implementation of Q&A dialogue system

Peter Výboch

Diplomová práce

Implementácia QA dialógového systému

Anotace:

Súčasné architektúry neurónových sietí umožnili vývoj výkonných modelov prirodzenéhojazyka, pretrénovaných na veľkých vzorkách jazykových dát. Takéto modely môžu byť ďalejdoladenéna konkrétne aplikácie. Kým toto je podstatne menej náročné ako vývoj podobnéhomodelu na zelenej lúke, pre komplexné aplikácie, vyžadujúce značné zmeny na vstupe modelu,vie aj doladenie byť náročné. V predkladanej práci skúmame možný prístup ako namapovaťquestion-answering pre RoBERTa transformer predtrénovaný na STS bez potreby ďalšiehodolaďovania.

Abstract:

Recent neural network architectures, transformers, enabled development of powerful language models pretrained on large sample of language data. Such models can be fine-tuned for downstream tasks. While fine-tuning is not nearly as effortful as training a model from scratch, for complex tasks which require dramatic alterations to the input, it can prove to be effortful. In our work we explore how task of knowledge-base question answering can be cast for a stock RoBERTa transformer pretrained for STS without any fine tuning.

Klíčová slova

question-answering, báza znalostí, NLP, BERT, relácie

Keywords

relation, BERT, question-answering, knowledge-base, NLP

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 1. 2. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 2. 6. 2021
• Vedoucí: Filip Vencovský
• Oponent: Lucie Beranová

Vysoká škola ekonomická v Praze

Magisterský studijní program / obor:
Aplikovaná informatika / Podniková informatika