Klasifikace dokumentů v textových korpusech

Bc. Vít Suchomel

Master's thesis

Document classification in text corpora

Abstract:

Diplomová práce má dva základní cíle. Prvním cílem je vytvoření „modelového korpusu“ webových textů o velikosti 100 milionů slov. Korpus bude vhodně složen z různých typů textů (např. novinové články, blogy, volně dostupná próza) zastoupených v přesně stanovených množstvích. Druhým cílem práce je vytvoření klasifikátoru jednotlivých typů textů pomocí metod strojového učení. Student se seznámí s několika vhodnými metodami klasifikace. Tyto metody následně aplikuje, vyhodnotí a vzájemně porovná. Hlavní motivací pro tuto práci je potřeba klasifikace textů ve velkých webových korpusech.

Abstract:

There are two aims of this diploma thesis. The first objective is to create a "model corpus" of web texts containing 100 million words. The corpus has to be consisted of several types of texts (e. g. newspaper articles, blogs, prose available online) in strictly defined quantities. The second objective of the thesis is to create a classifier of the respective text types using machine learning methods. The student has to get knowledge of several suitable classification methods, apply, evaluate and compare these methods. The main motivation of the thesis is a need to classify large web textual corpora.

Keywords

Klasifikace dokumentů, strojové učení, korpus, klasifikace, klasifikátor, SVM, předzpracování

Language used: Czech

Date on which the thesis was submitted / produced: 11. 1. 2010

Thesis defence

• Date of defence: 10. 2. 2010
• Supervisor: RNDr. Jan Pomikálek, Ph.D.

Masaryk University

Faculty of Informatics

Master programme / field:
Informatics / Artificial Intelligence and Natural Language Processing