Mgr. Lukáš Mikula

Master's thesis

Think Twice Before You Answer: Mitigating Biases of Question Answering Models

Think Twice Before You Answer: Mitigating Biases of Question Answering Models
Anotácia:
Veľké jazykové modely (z angl. Large Language Models) založené na architektúre Transformerov predstavujú najlepšie modely pre vačšinu problémov spracovania prirodzeného jazyka (z angl. Natural Language Modeling). Napriek tomu majú tieto modely tendenciu učiť sa skreslenia a systematické chyby z trénovacích datasetov. Toto učenie im síce môže pomôcť na datasetoch s rovnakou distribúciou, lenže znižuje …viac
Abstract:
Large Language Models based on Transformer architecture hold state-of-the-art in a majority of Natural Language Modeling tasks. Nevertheless, these models tend to learn biases from training dataset, which help them on the training dataset, but hurt their out-of-domain accuracy as a result. This work focuses on obtaining more robust BERT models for the Extractive Question Answering task. We explore …viac
 
 
Jazyk práce: English
Datum vytvoření / odevzdání či podání práce: 17. 5. 2022

Obhajoba závěrečné práce

  • Obhajoba proběhla 22. 6. 2022
  • Vedúci: Mgr. Michal Štefánik
  • Oponent: RNDr. Vít Suchomel, Ph.D.

Citační záznam

Plný text práce

Obsah online archivu závěrečné práce
Zveřejněno v Theses:
  • světu
Jak jinak získat přístup k textu
Instituce archivující a zpřístupňující práci: Masarykova univerzita, Fakulta informatiky

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Big data