Hledání sémantické informace v textových datech s využitím latentní analýzy

Bc. Pavel Řezníček

Master's thesis

Search of semantic information in text data using latent analysis

Abstract:

První část práce se věnuje teoretickému úvodu do vybraných metod text miningu - Information retrieval, klasifikace a shlukování. Je představena metoda LSA jakožto pokročilejší model pro reprezentaci textových dat. Dále jsou v práci popsána zdrojová data a metody pro jejich předzpracování a přípravu použité za účelem zvýšení efektivity text miningových metod. Pro jednotlivé oblasti text miningu jsou definovány hodnotící metriky a jsou představeny použité již existující, případně nově implementované, programy. Výsledky experimentů, srovnávajících vliv různého předzpracování a využití odlišných modelů zdrojových dat, jsou následně přehledně demonstrovány a v závěru práce diskutovány.

Abstract:

The first part of thesis focuses on theoretical introduction to the methods of text mining -- Information retrieval, classification and clustering. LSA method is presented as an advanced model for representing textual data. Furthermore, the work describes source data and methods for their preprocessing and preparation used to enhance the effectiveness of text mining methods. For each chosen text mining method there are defined evaluation metrics and used already existing, or newly implemented, programs are presented. The results of experiments comparing the effects of different preprocessing type and use of different models of the source data are then demonstrated and discussed in the conclusion.

Keywords

Text mining, stop-slova, vyhledávání informací, SVD, Cluto, LSI databáze, stemming, Python, klasifikace, shlukování

Keywords

Python, Information retrieval, SVD, stop-words, clustering, LSI database, stemming, Text mining, classification, Cluto

Language used: Czech

Date on which the thesis was submitted / produced: 20. 5. 2015

Thesis defence

• Supervisor: doc. Ing. František Dařena, Ph.D.

Mendel University in Brno

Faculty of Business and Economics

Master programme / field:
System engineering and informatics / Economic informatics