Hledání sémantické informace v textových datech s využitím latentní analýzy

Bc. Pavel Řezníček

Diplomová práce

Search of semantic information in text data using latent analysis

Anotace:

První část práce se věnuje teoretickému úvodu do vybraných metod text miningu - Information retrieval, klasifikace a shlukování. Je představena metoda LSA jakožto pokročilejší model pro reprezentaci textových dat. Dále jsou v práci popsána zdrojová data a metody pro jejich předzpracování a přípravu použité za účelem zvýšení efektivity text miningových metod. Pro jednotlivé oblasti text miningu jsou definovány hodnotící metriky a jsou představeny použité již existující, případně nově implementované, programy. Výsledky experimentů, srovnávajících vliv různého předzpracování a využití odlišných modelů zdrojových dat, jsou následně přehledně demonstrovány a v závěru práce diskutovány.

Abstract:

The first part of thesis focuses on theoretical introduction to the methods of text mining -- Information retrieval, classification and clustering. LSA method is presented as an advanced model for representing textual data. Furthermore, the work describes source data and methods for their preprocessing and preparation used to enhance the effectiveness of text mining methods. For each chosen text mining method there are defined evaluation metrics and used already existing, or newly implemented, programs are presented. The results of experiments comparing the effects of different preprocessing type and use of different models of the source data are then demonstrated and discussed in the conclusion.

Klíčová slova

Text mining, stop-slova, vyhledávání informací, SVD, Cluto, LSI databáze, stemming, Python, klasifikace, shlukování

Keywords

Python, Information retrieval, SVD, stop-words, clustering, LSI database, stemming, Text mining, classification, Cluto

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 20. 5. 2015

Obhajoba závěrečné práce

• Vedoucí: doc. Ing. František Dařena, Ph.D.

Mendelova univerzita v Brně

Provozně ekonomická fakulta

Magisterský studijní program / obor:
Systémové inženýrství a informatika / Ekonomická informatika