Pretraining and Evaluation of Czech ALBERT Language Model – Petr Zelina
Petr Zelina
Bachelor's thesis
Pretraining and Evaluation of Czech ALBERT Language Model
Pretraining and Evaluation of Czech ALBERT Language Model
Anotácia:
Tato práce se zabývá novým jazykovým modelem nazvaným ALBERT, který byl vydaný společností Google Research v roce 2019. Architektura ALBERT je velmi úspěšná ve zpracování anglických jazykových problémů a tato práce testuje možnosti jejího využití pro český jazyk. Práce nejdříve rozebírá vývoj a strukturu modelu ALBERT. Dále se zabývá návrhem a trénováním několika českých modelů. Nakonec porovnává jejich …viacAbstract:
This thesis explores a new language model called ALBERT, released by Google Research in 2019. The ALBERT architecture has been very successful in English NLP tasks, and this thesis tests its applicability for the Czech language. The work gives an overview of the models leading to ALBERT and their design. Further, the creation process of several Czech ALBERT models is described. Finally, their performance …viac
Jazyk práce: English
Datum vytvoření / odevzdání či podání práce: 26. 5. 2020
Identifikátor:
https://is.muni.cz/th/t946b/
Obhajoba závěrečné práce
- Obhajoba proběhla 24. 6. 2020
- Vedúci: doc. RNDr. Aleš Horák, Ph.D.
- Oponent: RNDr. Zuzana Nevěřilová, Ph.D.
Plný text práce
Obsah online archivu závěrečné práce
Zveřejněno v Theses:- světu
Jak jinak získat přístup k textu
Instituce archivující a zpřístupňující práci: Masarykova univerzita, Fakulta informatikyMasaryk University
Faculty of InformaticsBachelor programme / odbor:
Informatics / Artificial Intelligence and Natural Language Processing
Práce na příbuzné téma
-
Visualization of Digital Pathology Images and Results of Their Analyses Using Deep Neural Networks
Nikoleta Češeková -
Interpretation techniques for deep neural networks in digital histopathology
Martin Krebs -
Image super sampling using deep neural networks
Ivan Gorbatenko -
Alzheimer's dementia recognition from spontaneous speech using deep neural networks
Mariia Buntovskikh -
Urban Change Monitoring with Neural Networks and Deep-Temporal Remote Sensing Data
Georg Zitzlsberger -
Detection of IoT Cyberattacks in Smart Cities using Deep Neural Networks
Zeru Kifle Kebede -
Text classification of customer inquiries via e-mail
Armin WEIGOLD -
Czech Question Answer Selection using Recurrent Neural Networks
Radoslav Sabol