Software na klasifikaci textů

Veronika VLASÁKOVÁ

Bakalářská práce

Document comparison in terms of quantative linguistics and NLP

Anotace:

Cílem této bakalářské práce je v programovacím jazyce Python vytvořit software, který umožní uživateli trénovat klasifikaci textů a evaluovat její výsledky. Teoretická část této práce představuje software a vysvětluje, jak ho má uživatel použít. Konkrétně je v ní popsáno, s jakými vlastnostmi software pracuje, jak se dají texty předzpracovat, jak vyhodnotit výsledky použitých metod a jak software nainstalovat a nastavit. V praktické části této práce je ukázáno, jak software pracuje s konkrétními problémy. Vyzkoušeno je několik různých druhů klasifikace textů. Jedná se o rozpoznání jazyka, a to u náhodně vybraných jazyků a jazyků ze stejné rodiny, určení autorství u profesionálních autorů a u neprofesionálních autorů, rozpoznání sentimentu a rozpoznání spamu. Výsledky jednotlivých klasifikací textů jsou poté evaluovány. Závěr celou práci shrnuje a představuje možnosti dalšího rozšíření a zlepšení softwaru.

Abstract:

The aim of this bachelor thesis is to create software in the programing language Python, which would allow the user to train text classification and evaluate its results. The theoretical part of this thesis introduces the software and explains how to use it. Specifically, it is described what feature the software works with, how the texts can be preprocessed, how to evaluate the results of the chosen methods and how to install and configure the software. In the practical part of this thesis it is shown how the software works with specific issues. Several different kinds of text classification are tested. It is language recognition, on randomly chosen languages and on languages from the same family, author identification with professional authors and with nonprofessional authors, sentiment detection and spam detection. The results of each text classification are then evaluated. The conclusion summarizes the entire thesis and introduces the possibilities of expansion and improvement of the software.

Klíčová slova

Zpracování přirozeného jazyka, Python, Kvantitativní lingvistika, Klasifikace textů, Bag of words

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 17. 8. 2020

Obhajoba závěrečné práce

• Vedoucí: Mgr. Vladimír Matlach

UNIVERZITA PALACKÉHO V OLOMOUCI

Filozofická fakulta

Bakalářský studijní program / obor:
Filologie / Anglická filologie - Obecná lingvistika a teorie komunikace