Experimenty s Apache Mahout

Bc. Lukáš HAIN

Diplomová práce

Experiments with Apache Mahout

Anotace:

Tato práce je zaměřena na knihovnou Apache Mahout. Úkolem je vytvoření návodu a ověřit její použitelnost na úlohách z oblasti zpracování přirozeného jazyka (NLP). V textu je znázorněno řešení tří problému z oblasti NLP: klasifikace emailu z podpory, extrakce diskuzních příspěvků z webových stránek a shlukování sémantických vektoru. Všechny tyto úlohy jsou doprovázeny podrobným popisem, který zahrnuje načítání dat, trénování, testování a použití natrénovaného modelu. Velice slibných výsledku bylo dosaženo v první a třetí úloze. Klasifikace emailu dosahuje úspešnosti kolem 91%. Shlukování do 25 000 shluků, ze 400 000 vektorů trvalo 43 hodin na běžném notebooku.

Abstract:

This thesis focuses on the Apache Mahout toolkit. The goal is to create a tutorial and verify its usability on some tasks from natural language processing (NLP) field. The text shows a solution to three NLP problems: classification of e-mails in a support forum, extracting discussion feeds from web pages and clustering semantic vectors. All these examples are accompanied with rich explanations that cover data loading, training, testing and using the trained models. Very promising results were achieved for the first and third task. Classification of emails achieved approximately 91% accuracy. Clustering into 25 000 clusters based upon 400 000 vectors finished in 43 hours on a common laptop.

Klíčová slova

mahout, strojové učení, doporučení, klasifikace, shlukování, zpracování přirozeného jazyka, nlp

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 14. 5. 2015

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Ing. Miloslav Konopík, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Magisterský studijní program / obor:
Inženýrská informatika / Softwarové inženýrství