Automatic part-of-speech prediction based on prior annotation.

Bc. Veronika Mitická

Bakalářská práce

Anotace:

Cieľom tejto bakalárskej práce je zjednodušiť proces manuálnej anotácie dát pre jazyky s malým množstvom anotovaných dát. Práca integruje automatický proces do existujúceho nástroja na anotáciu korpusov s názvom CORAT. Vylepšenie sa zameriava na predvypĺňanie slovných druhov a základných tvarov slov, čo zefektívňuje prácu anotátorov. Prvým implementovaným prístupom je odhadovanie značiek a základných tvarov na základe ich frekvencie. Ďalší prístup spočíva v použitia značkovača (RFTagger) a lematizátora (CSTlemma), ktoré sú trénované počas procesu anotácie, aby mohli predpovedať značky ešte neanotovaných viet. Tento prístup nielen zjednodušuje proces anotácie, ale tiež prináša natrénovaný model, ktorý možno využiť pri anotácii ďalších korpusov. Okrem toho práca skúma možnosť filtrovania viet, vylepšuje rozhranie systému a pridáva funkciu nahrávania súborov s nápovedou.

Abstract:

This bachelor thesis aims to simplify the manual annotation process of low-resource languages by integrating automatic processing into the existing Corpus Annotation tool (CORAT). The enhancement focuses on pre-filling POS tags and lemmas to streamline the annotators' work. The first method implemented relies on guessing words based solely on their frequency in a database. Additionally, the thesis introduces a POS-tagger (RFTagger) and a lemmatizer (CSTlemma), which are trained on already annotated data to predict words using the most up-to-date trained data. This approach not only simplifies the annotation process but also yields a trained model that can be used for further annotation tasks. Moreover, the thesis explores sentence filtering, improves the frontend interface, and adds a help guidance file upload function.

Keywords

manual annotation, RFTagger, CSTlemma, low-resource languages, corpus annotation tool, CORAT, POS tagging, lemmatization, machine learning

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 23. 5. 2024

Obhajoba závěrečné práce

• Obhajoba proběhla 25. 6. 2024
• Vedoucí: RNDr. Marek Medveď, Ph.D.
• Oponent: RNDr. Vojtěch Kovář, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Programování a vývoj aplikací / Programování a vývoj aplikací