Implementation of Q&A dialogue system

Peter Výboch

Master's thesis

Implementácia QA dialógového systému

Abstract:

Súčasné architektúry neurónových sietí umožnili vývoj výkonných modelov prirodzenéhojazyka, pretrénovaných na veľkých vzorkách jazykových dát. Takéto modely môžu byť ďalejdoladenéna konkrétne aplikácie. Kým toto je podstatne menej náročné ako vývoj podobnéhomodelu na zelenej lúke, pre komplexné aplikácie, vyžadujúce značné zmeny na vstupe modelu,vie aj doladenie byť náročné. V predkladanej práci skúmame možný prístup ako namapovaťquestion-answering pre RoBERTa transformer predtrénovaný na STS bez potreby ďalšiehodolaďovania.

Abstract:

Recent neural network architectures, transformers, enabled development of powerful language models pretrained on large sample of language data. Such models can be fine-tuned for downstream tasks. While fine-tuning is not nearly as effortful as training a model from scratch, for complex tasks which require dramatic alterations to the input, it can prove to be effortful. In our work we explore how task of knowledge-base question answering can be cast for a stock RoBERTa transformer pretrained for STS without any fine tuning.

Keywords

question-answering, báza znalostí, NLP, BERT, relácie

Keywords

relation, BERT, question-answering, knowledge-base, NLP

Language used: English

Date on which the thesis was submitted / produced: 1. 2. 2020

Thesis defence

• Date of defence: 2. 6. 2021
• Supervisor: Filip Vencovský
• Reader: Lucie Beranová

Vysoká škola ekonomická v Praze

Master programme / field:
Aplikovaná informatika / Podniková informatika