Automatic text summarization

Bc. Adam Hájek

Bachelor's thesis

Abstract:

Tato bakalářská práce se zabývá posledními průlomy v abstraktivní sumarizaci, přičemž se zaměřuje především na vliv velkých jazykových modelů, které staví na architektuře Transformeru. Součástí práce je také vytvoření nového abstraktivního sumarizátoru pro češtinu, jehož jádrem je GPT-2, model publikovaný v roce 2019 společností OpenAI. Postupně ukazujeme, jak probíhájí jednotlivé tréninkové fáze a práce s daty. Nakonec hotový model porovnáme s předními přístupy na poli české abstraktivní sumarizace.

Abstract:

This thesis investigates recent breakthroughs in single-document abstractive text summarization. The main focus is on the impact of large Transformer-based language models on the task. Part of the work is also a creation of a new abstractive summarizer for the Czech language. The core of the summarizer is the GPT-2 model, released by OpenAI in 2019. We describe the procedure of pre-training and fine-tuning the model on huge Czech text corpora. Finally, we evaluate the summarizer and compare it with the state-of-the-art models for Czech abstractive summarization.

Keywords

summarization, abstractive summarization, NLP, Czech language, deep learning, neural networks, transformers, GPT-2

Language used: English

Date on which the thesis was submitted / produced: 25. 5. 2021

Thesis defence

• Date of defence: 29. 6. 2021
• Supervisor: doc. RNDr. Aleš Horák, Ph.D.
• Reader: doc. Mgr. Pavel Rychlý, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Informatics / Artificial Intelligence and Natural Language Processing