Deriving the Meaning of Out-of-Vocabulary Words

Bc. Samuel Gazda

Master's thesis

Anotácia:

Táto práca sa zaoberá klasifikáciou a normalizáciou slov mimo slovnej zásoby (out-of-vocabulary words alebo OOV words). Predkladá dva typy klasifikátorov. Prvý je založený na postupnom vyhodnocovaní poskytnutých pravidiel a druhý používa jazykové modely postavené na architektúre RoBERTa. Obsahuje anotovaný dataset pozostávajúci z OOV slov a ich kontextov na trénovanie a ohodnotenie predstavených prístupov. Nakoniec predstavuje modulárny normalizačný framework, ktorý využíva uvedené metódy.

Abstract:

This thesis deals with the classification and the normalization of out-of-vocabulary (OOV) words. It presents two types of classifiers, one based on the sequential evaluation of given rules and the second one based on the RoBERTa-based language models. It contains an annotated dataset consisting of OOV words and their contexts to train and evaluate the presented approaches. Finally, it presents a modular normalization framework to leverage the approaches presented.

Keywords

NLP, OOV, out-of-vocabulary, RoBERTa, deep learning

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 19. 6. 2024
• Vedúci: doc. RNDr. Aleš Horák, Ph.D.
• Oponent: RNDr. Pavel Šmerk, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / odbor:
Artificial intelligence and data processing / Machine learning and artificial intelligence