Dolování informací z textů na základě nízkorozměrných reprezentací

Bc. Riva Nathans, BA

Bachelor's thesis

Data mining from texts based on low-dimensional representations

Abstract:

Tato práce srovnává efektivnost různých metod (mutual information, χ-squared, tf-idf) pro výběr klíčových slov z textů pro automatické rozpoznávání témat. Klasifikace proběhla na nizkorozměrných reprezentacích textů z Fisher Speech Corpus použití multinomial Naive Bayes a support vector machines. Nejefektivnější kombinace metod byla mutual information pro výběr rysů s SVM pro klasifikaci: umožnila 88% korektní klasifikaci textů do 40 tříd podle témat na základě < 1.5% slov použitých v kolekci.

Abstract:

This thesis compares the effectiveness of several methods (mutual information, χ-squared, tf-idf) for extracting keyword features from text documents for efficient, automatic topic detection. Classification was performed on reduced-dimensional representations of transcripts from the Fisher Speech Corpus using multinomial Naive Bayes classi- fication and support vector machines. The most effective combination of methods tested was mutual information for feature selection with SVM for classification: this method was able to place 88% of conversations in the correct topic category (out of 40) based on < 1.5% of the vocabulary extracted from the documents.

Keywords

text, data mining, machine learning, topic classification, information retrieval, naive bayes, support vector machine

Language used: English

Date on which the thesis was submitted / produced: 23. 5. 2016

Thesis defence

• Date of defence: 15. 2. 2017
• Supervisor: prof. Ing. Pavel Zezula, CSc.
• Reader: RNDr. Petr Eliáš

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Applied Informatics / Applied Informatics