Summarization of News Articles

Bc. Michal SEJÁK

Diplomová práce

Abstract:

Automatic text summarization is an important NLP task with many applications. Our particular area of focus is summarization of news articles. We introduce a new Czech summarization dataset created from CNA articles. Using this dataset, we trained multiple state-of-the-art approaches for extractive summarization using the BERT and Longformer model architectures and evaluate them using ROUGE-N, ROUGE-L and BertScore. We found that a pretrained Czech Longformer is the best approach regarding BertScore (0.802), when the number of summary sentences is known. If it is unknown, we found that the best approach is sentence-wise classification with context and positional metadata using a pretrained Czech BERT (BertScore 0.79).

Abstract:

Automatická sumarizace textu je důležitý úkol z oboru zpracování přirozeného jazyka s mnoha aplikacemi. V této práci se zaměřujeme na sumarizaci novinových článků. V práci představujeme nový sumarizační dataset vytvořený z článků ČTK. Na tomto datasetu jsme natrénovali některé z nejmodernějších modelů pro extraktivní sumarizaci s využitím neuronových sítí BERT a Longformer a zhodnotili je podle metrik ROUGE-N, ROUGE-L a BertScore. Z experimentů vyplývá, že nejlepší model dle BertScore je založený na předtrénovaném Longformeru (0.802), ale lze jej využít jen pokud je dopředu znám či zadán počet vět ve shrnutí. Pokud tato informace k dispozici není, nejlepším přístupem se jeví klasifikace jednotlivých vět s kontextem a pozičními metadaty pomocí předtrénovaného modelu BERT (0.79).

Keywords

sumarizace, nlp, extraktivní, vícedokumentová, bert, czert, longformer

Jazyk práce: angličtina

Datum vytvoření / odevzdání či podání práce: 19. 5. 2022

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Jakub Sido

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Magisterský studijní program / obor:
Inženýrská informatika / Softwarové inženýrství