Automatická klasifikace vícejazyčných dokumentů

Bc. Ladislav HLOM

Diplomová práce

Automatic multilingual document classification

Anotace:

Automatická klasifikace dokumentů je úloha, ve které dokumenty zařazujeme do určitých kategorií dle jejich obsahu (např. politika, sport, ...). V práci je řešena především více třídní klasifikace, ve které může dokument patřit do více kategorií. Cílem práce bylo prozkoumat možnosti vícejazyčné klasifikace dokumentů. V rámci řešení je porovnávána metoda LDA s klasifikací po strojovém překladu do cílového jazyka. Použity jsou klasifikační metody maximální entropie a metoda podpůrných vektorů. K překladu textu jsou použity statistické systémy pro strojový překlad Moses a Google translate. Pro testování byly vybrány 3 rozdílné kolekce. První kolekce byla dodána od České tiskové kanceláře, zatímco zbylé dvě byly nalezeny na internetu. Provedené experimenty ukázaly, že varianta se strojovým překladem poskytuje solidní výsledky. Zatímco klasifikování za použití metody LDA dosahovalo nižších výsledků a nelze ho pro úlohu doporučit. Dále bylo ukázáno jak kvalita překladu ovlivňuje výslednou klasifikaci.

Abstract:

Automatic classification of documents is a task, where each document is classified into some categories based on its content (e.g politics, sport, etc.). The thesis is primarily focused on multi-label classification, where each document can belong to more than one category. The main aim of the thesis is a multilingual document classification. LDA method is compared with a classification after machine translation into a target language. Maximum entropy and vector machines are used as classification methods. Statistical machine translation systems Moses and Google Translate are used for the text translation. For testing three different collections were selected. The first collection was delivered from the Czech News Agency, while the other two were found on the Internet. The experiments that were done showed that the machine translation provides good-quality results. On the other hand, classification with LDA method achieved worse results and cannot be recommended for the task. Furthermore, it was shown how the quality of the translation affects the final classification.

Klíčová slova

klasifikace, více třídní, SVM, maximální entropie, naivní bayes, LDA, klasifikace vícejazyčných dokumentů, strojový překlad, SMT

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 12. 5. 2016

Zveřejnit od: 31. 12. 2999

Obhajoba závěrečné práce

• Vedoucí: Doc. Ing. Pavel Král, Ph.D.

ZÁPADOČESKÁ UNIVERZITA V PLZNI

Fakulta aplikovaných věd

Magisterský studijní program / obor:
Inženýrská informatika / Softwarové inženýrství