Topic Classification for Web Corpora: Method Comparison and Crosslingual Transfer

Bc. Rastislav Papčo

Master's thesis

Abstract:

Anglické textové korpusy sú nevyhnutné pre počítačovú lingvistiku. Internet je síce veľkým a lacným zdrojom takýchto dát, ale zvyčajne im chýba štruktúra a metadáta. Cieľom diplomovej práce bolo vyčistiť webové korpusy od zlých textov a zároveň anotovať dáta témami. Témy sa rozpoznávajú dvoma spôsobmi: klasifikáciou a modelovaním. Klasifikácia prebieha supervizovaným fasttextovým modelom, zatiaľ čo modelovanie je nesupervizované a používa Latentnú Dirichletovu alokáciu. Diskutuje sa o podobnostiach, rozdieloch a použití oboch prístupov. Okrem toho sme skúmali možnosti medzijazyčného prenosu angličtiny do iných jazykov, aby sme otestovali či veľké množstvo anotovaných anglických dát môže pomôcť pri klasifikácii tém iných jazykov.

Abstract:

English text corpora are essential for computational linguistics. While the internet is a large and cheap source of such data, they usually lack structure and metadata. The aim of this thesis was to clean web corpora from bad texts while also annotating the data with topics. The topics are recognized in two ways: topic classification and topic modeling. Topic classification is solved by a supervised fasttext model, while the unsupervised topic modeling uses a Latent Dirichlet allocation. Similarities, differences, and the usages of both approaches are discussed. Additionally, we explored the possibilities of cross-lingual transfer of English into other languages to test whether the large amounts of annotated English data can help with the topic classification of other languages.

Keywords

topic classification, topic modeling, latent dirichlet allocation, cross-lingual word embeddings, cross-lingual transfer, inter-annotator agreement

Language used: English

Date on which the thesis was submitted / produced: 17. 5. 2022

Thesis defence

• Date of defence: 23. 6. 2022
• Supervisor: RNDr. Vít Suchomel, Ph.D.
• Reader: Mgr. Michal Štefánik

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence