Automatická sumarizace textu

Bc. Petr Machovec

Diplomová práce

Automatic Text Summarization

Anotace:

Má práce se zabývá automatickou sumarizací textu psaného v českém jazyce. Nastudoval jsem možnosti tvorby automatických souhrnů a hodnocení kvality výsledků programů vytvářejících souhrny. Na základě získaných poznatků jsem implementoval program v jazyce Python provádějící automatickou sumarizaci českého textu pomocí tří různých přístupů - latentní sémantické analýzy založené na práci s maticemi, metody TextRank založené na práci s grafy a výpočtu hodnot TFxIDF založeného na využití rozsáhlých statistických dat. Program jsem vybavil veřejně přístupným webovým rozhraním. Činnost programu jsem vyhodnotil pomocí metrik ROUGE založených zejména na úplnosti, ale také na přesnosti a f-skóre. Podle výsledků vyhodnocení jsem implementovaný program nastavil na nejlepší zjištěnou konfiguraci. Výsledky mé práce jsou nově zjištěné poznatky o možnostech automatické sumarizace textu a hodnocení její kvality, a zejména veřejně přístupný program pro automatickou sumarizaci českého textu

Abstract:

My thesis deals with automatic summarization of a text written in Czech language. I studied possibilities of the creation of automatic abstracts and the evaluation of quality of programs creating abstracts. With gained knowledge I implemented a program in Python programming language for automatic summarization of Czech text by three different approaches - latent semantic analysis based on computing with matrices, TextRank method based on computing with graphs and computing TFxIDF values based on using large statistical data. I also implemented publicly accessible web interface for the program. I evaluated results of the program with ROUGE metrics based especially on recall, but also on precision and f-score. According to these results I set up the program to the best configuration found. Results of my thesis are new knowledge about possibilities of automatic text summarization and it's quality evaluation, and especially publicly accessible program for automatic summarization of Czech text.

Klíčová slova

sumarizace, automatická sumarizace, souhrn, latentní sémantická analýza, TextRank, TFxIDF, hodnocení kvality sumarizace, úplnost, přesnost, f-skóre

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 25. 5. 2015

Obhajoba závěrečné práce

• Obhajoba proběhla 25. 6. 2015
• Vedoucí: RNDr. Zuzana Nevěřilová, Ph.D.
• Oponent: doc. RNDr. Aleš Horák, Ph.D.

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Informatika / Umělá inteligence a zpracování přirozeného jazyka