Automatizovaná podpora filtrace elektronických textových dokumentů metodami strojového učení

Mgr. Jiří Hroza

Rigorózní práce

Automatizovaná podpora filtrace elektronických textových dokumentů metodami strojového učení (in czech)

Anotace:

Se vzrůstající dostupností velkého množství elektronických dokumentů přichází i potřeba efektivních metod jejich filtrace. Ta umožní automatizovaně vybírattextové dokumenty, které budou pro uživatele relevantní. Jeden z možných přístupů je použití klasifikačních metod strojového učení. Zmiňme například umělé neuronové sítě, naivní Bayesův klasifikátor, support vector machines,k-nejbližších sousedů. Ty jsou schopny se z reprezentativního vzorku dokumentů uživatelova zájmu a nezájmu naučit automatizovaně filtrovat nové neznámé dokumenty. Jejich úspěšnost ale ovlivňuje mnoho faktorů, jako například podobnost oddělovaných kategorií, různé předzpracování dokumentů, atp. Velmi často se stává, že máme k dispozici příklady, které reprezentují pouze jednu třídu zajímavých dokumentů. Proto bude kladen zvláštní důraz na použití modifikácí stávajících algoritmů, které umožňují učení se pouze z pozitivních příkladů. Cílem této práce je prozkoumat možnosti použití těchto metod za různých podmínek a ověřit je na dostupných testovacích textových sadách.

Abstract:

With the growing availability of large amount of documents in digital form, there is a need of efective filtering methods. This approach enables an automatic selection of textual documents, which are in the area of a user's interest. An application of machine learning classifiers is one of possible approaches. Examples of these algorithms are artifitial neural networks, support vector machines, k-nearest neighbours. They have the ability to learn from representative samples of a user's interest and uninterest how to filter unseen documents. Their success is affected by a lot of factors, for example similarity between classes, different types of preprocessing, etc. Very often we have only documents which represet only a class of interesting ones. Therefore we will dwell on using algorithms that are able to learn from only positive instances. The aim of this work is the examination of using these methods under different conditions and their validation utilising available textual datasets.

Klíčová slova

machine learning, text filtration, text categorization, text similarity

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 22. 6. 2009

Obhajoba závěrečné práce

• Obhajoba proběhla 24. 6. 2009
• Vedoucí: doc. Ing. Jan Žižka, CSc.

Masarykova univerzita

Fakulta informatiky

Rigorózní řízení / obor:
Informatika / Informatika