Automatická sumarizace textu

Bc. Petr Machovec

Master's thesis

Automatic Text Summarization

Abstract:

Má práce se zabývá automatickou sumarizací textu psaného v českém jazyce. Nastudoval jsem možnosti tvorby automatických souhrnů a hodnocení kvality výsledků programů vytvářejících souhrny. Na základě získaných poznatků jsem implementoval program v jazyce Python provádějící automatickou sumarizaci českého textu pomocí tří různých přístupů - latentní sémantické analýzy založené na práci s maticemi, metody TextRank založené na práci s grafy a výpočtu hodnot TFxIDF založeného na využití rozsáhlých statistických dat. Program jsem vybavil veřejně přístupným webovým rozhraním. Činnost programu jsem vyhodnotil pomocí metrik ROUGE založených zejména na úplnosti, ale také na přesnosti a f-skóre. Podle výsledků vyhodnocení jsem implementovaný program nastavil na nejlepší zjištěnou konfiguraci. Výsledky mé práce jsou nově zjištěné poznatky o možnostech automatické sumarizace textu a hodnocení její kvality, a zejména veřejně přístupný program pro automatickou sumarizaci českého textu

Abstract:

My thesis deals with automatic summarization of a text written in Czech language. I studied possibilities of the creation of automatic abstracts and the evaluation of quality of programs creating abstracts. With gained knowledge I implemented a program in Python programming language for automatic summarization of Czech text by three different approaches - latent semantic analysis based on computing with matrices, TextRank method based on computing with graphs and computing TFxIDF values based on using large statistical data. I also implemented publicly accessible web interface for the program. I evaluated results of the program with ROUGE metrics based especially on recall, but also on precision and f-score. According to these results I set up the program to the best configuration found. Results of my thesis are new knowledge about possibilities of automatic text summarization and it's quality evaluation, and especially publicly accessible program for automatic summarization of Czech text.

Keywords

sumarizace, automatická sumarizace, souhrn, latentní sémantická analýza, TextRank, TFxIDF, hodnocení kvality sumarizace, úplnost, přesnost, f-skóre

Language used: Czech

Date on which the thesis was submitted / produced: 25. 5. 2015

Thesis defence

• Date of defence: 25. 6. 2015
• Supervisor: RNDr. Zuzana Nevěřilová, Ph.D.
• Reader: doc. RNDr. Aleš Horák, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Artificial Intelligence and Natural Language Processing