Pretraining and Evaluation of Czech ALBERT Language Model

Petr Zelina

Bakalářská práce

Anotace:

Tato práce se zabývá novým jazykovým modelem nazvaným ALBERT, který byl vydaný společností Google Research v roce 2019. Architektura ALBERT je velmi úspěšná ve zpracování anglických jazykových problémů a tato práce testuje možnosti jejího využití pro český jazyk. Práce nejdříve rozebírá vývoj a strukturu modelu ALBERT. Dále se zabývá návrhem a trénováním několika českých modelů. Nakonec porovnává jejich úspěšnost s aktuálními českými řešeními na úlohách, jako je klasifikace textu nebo automatické hledání odpovědí.

Abstract:

This thesis explores a new language model called ALBERT, released by Google Research in 2019. The ALBERT architecture has been very successful in English NLP tasks, and this thesis tests its applicability for the Czech language. The work gives an overview of the models leading to ALBERT and their design. Further, the creation process of several Czech ALBERT models is described. Finally, their performance is evaluated, and the models are compared with the current Czech state-of-the-art solutions for text classification and question answering tasks.

Keywords

NLP, Czech NLP, neural networks, deep neural networks, deep learning, transformers, BERT, ALBERT, text classification, question answering

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 26. 5. 2020

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2020
• Vedoucí: doc. RNDr. Aleš Horák, Ph.D.
• Oponent: RNDr. Zuzana Nevěřilová, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka