Klasifikace textů z Diskusních fór v IS MU

Bc. Václav Divíšek

Bachelor's thesis

Text mining of IS MU Discussion group posts

Abstract:

Bakalářská práce se zabývá dobýváním znalostí z textu, konkrétně z Diskusních fór Informačního systému Masarykovy univerzity. Hlavním úkolem práce bylo pokusit se klasifikovat příspěvky do tříd dle jejich hodnocení pomocí dolování dat a strojového učení. Při klasifikaci jsem používal několika algoritmů, nicméně nejlepšího výsledku bylo dosaženo algoritmem rozhodovacích stromů J48 po přidání kategorií textu. Ovšem vhodnějším způsobem klasifikace je aplikování stejného algoritmu za pomoci generování pomocných atributů ze stromu příspěvků sestaveného dle návaznosti. Při zpracování dat byl používán program Weka, dobře známý nástroj na dolování dat. Pro statistické výpočty byl použit program SPSS a pro odhalení překlepů v příspěvku jsem použil rychlý morfologický nástroj Majka, který byl vyvinut na naší fakultě. V programu Weka byly provedeny následující úkony: předzpracování dat, klasifikace textu, shlukování a analýza sentimentu. V závěru práce jsou uvedeny statistické údaje o počtu chyb.

Abstract:

The bachelor work deals with text mining applied to posts obtained from Discussion Groups publicly available in the Information System of Masaryk University. The main objective of this work was to classify posts into classes according to the post assessments using data mining and machine learning methods. To classify the posts, we have employed several algorithms, however the decision tree based algorithm J48, achieved the highest overall accuracy. But the better way to classify is applied the same algorithm, where was algorithm supported by generated attribute from tree of posts created by connection. For data processing, we have emplyed Weka – a well known tool for data mining. For statistical calculations, we have utilized SPSS, and for automatic typing error detection, we employed the morphological analyser Majka developed on our faculty. Weka was mainly used for text preprocessing, text classification, clustering and sentiment analysis. All gained results as well as the error statistics are presented in the text.

Keywords

Dolování textu, dolování dat, diskusní fórum, Weka, hodnocení příspěvků, klasifikace textů, shlukování textů, analýza sentimentu

Language used: Czech

Date on which the thesis was submitted / produced: 3. 1. 2013

Thesis defence

• Date of defence: 4. 2. 2013
• Supervisor: RNDr. Jaroslav Bayer
• Reader: RNDr. Jan Géryk, Ph.D.

Masaryk University

Faculty of Informatics

Bachelor programme / field:
Applied Informatics / Applied Informatics