Bc. Adam Hájek
Bachelor's thesis
Automatic text summarization
Automatic text summarization
Abstract:
Tato bakalářská práce se zabývá posledními průlomy v abstraktivní sumarizaci, přičemž se zaměřuje především na vliv velkých jazykových modelů, které staví na architektuře Transformeru. Součástí práce je také vytvoření nového abstraktivního sumarizátoru pro češtinu, jehož jádrem je GPT-2, model publikovaný v roce 2019 společností OpenAI. Postupně ukazujeme, jak probíhájí jednotlivé tréninkové fáze a …moreAbstract:
This thesis investigates recent breakthroughs in single-document abstractive text summarization. The main focus is on the impact of large Transformer-based language models on the task. Part of the work is also a creation of a new abstractive summarizer for the Czech language. The core of the summarizer is the GPT-2 model, released by OpenAI in 2019. We describe the procedure of pre-training and fine …more
Language used: English
Date on which the thesis was submitted / produced: 25. 5. 2021
Identifier:
https://is.muni.cz/th/jsw6t/
Thesis defence
- Date of defence: 29. 6. 2021
- Supervisor: doc. RNDr. Aleš Horák, Ph.D.
- Reader: doc. Mgr. Pavel Rychlý, Ph.D.
Full text of thesis
Contents of on-line thesis archive
Published in Theses:- světu
Other ways of accessing the text
Institution archiving the thesis and making it accessible: Masarykova univerzita, Fakulta informatikyMasaryk University
Faculty of InformaticsBachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing