Automatic text summarization

Bc. Adam Hájek

Bakalářská práce

Anotace:

Tato bakalářská práce se zabývá posledními průlomy v abstraktivní sumarizaci, přičemž se zaměřuje především na vliv velkých jazykových modelů, které staví na architektuře Transformeru. Součástí práce je také vytvoření nového abstraktivního sumarizátoru pro češtinu, jehož jádrem je GPT-2, model publikovaný v roce 2019 společností OpenAI. Postupně ukazujeme, jak probíhájí jednotlivé tréninkové fáze a práce s daty. Nakonec hotový model porovnáme s předními přístupy na poli české abstraktivní sumarizace.

Abstract:

This thesis investigates recent breakthroughs in single-document abstractive text summarization. The main focus is on the impact of large Transformer-based language models on the task. Part of the work is also a creation of a new abstractive summarizer for the Czech language. The core of the summarizer is the GPT-2 model, released by OpenAI in 2019. We describe the procedure of pre-training and fine-tuning the model on huge Czech text corpora. Finally, we evaluate the summarizer and compare it with the state-of-the-art models for Czech abstractive summarization.

Keywords

summarization, abstractive summarization, NLP, Czech language, deep learning, neural networks, transformers, GPT-2

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 25. 5. 2021

Obhajoba závěrečné práce

• Obhajoba proběhla 29. 6. 2021
• Vedoucí: doc. RNDr. Aleš Horák, Ph.D.
• Oponent: doc. Mgr. Pavel Rychlý, Ph.D.

Masarykova univerzita

Fakulta informatiky

Bakalářský studijní program / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka