Automatic Creation of Summaries of Historical Documents

Václav TRAN

Bachelor's thesis

Abstract:

In the domain of automatic text summarization, neural networks show promising performances. This thesis probes into the task of automatic summarization of Czech historical documents, a largely unexplored niche area with a scant amount of datasets available. To evaluate and improve the performance of our methods, we created our own dataset constructed from a corpus of historical documents. Then we fine-tuned and utilized Transformer-based models Mistral 7B and mT5. We also implemented and evaluated a method, which we refer to as Translation-Summarization-Translation, where we utilize state-of-the-art machine translation and English summarization methods to generate Czech summaries. The performance of these methods set a new baseline for the task of summarizing Czech historical documents.

Abstract:

Neuronové síťě dnes dosahují výborných výsledků ve světě automatického vytváření souhrnu dokumentů či textů. Tato bakalářská práce se zabývá automatickým vytvářením souhrnů českých historických dokumentů, což je téma, které není příliš prozkoumané. Pro vyhodnocení a zlepšení výkonu našich metod jsme vytvořili vlastní dataset ze sady historických dokumentů. Poté jsme natrénovali a využili modely Mistral 7B a mT5, které jsou založené na architektuře Transformer. Navíc jsme implementovali a vyohodnotili přístup, který kombinuje nejnovější metody strojového překladu a metody pro automatické vytváření souhrnu textu v angličtině. Tuto metodu označujeme jako Translation-Summarizaton-Translation. Výsledky zmiňovaných metod představují nový základ pro úkol automatické sumarizace českých historických dokumentů.

Keywords

Neuronové síťě, Umělá inteligence, Sumarizace textu, České historické dokumenty

Language used: English

Date on which the thesis was submitted / produced: 2. 5. 2024

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Ing. Pavel Král, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Bachelor programme / field:
Computer Science and Engineering / Computer Science and Engineering