Analýza sentimentu pro komentáře na sociálních sítích pomocí řešení úlohy klasifikace

Olha Arsenych

Diplomová práce

Sentiment analysis for comments on social networks using classification methods

Anotace:

Obsahem práce je analýza sentimentu na sociální síti Twitter. Popisná část se zabývá zpracováním přirozeného jazyka (NLP) a aplikací NLP. Také je rozebrán pojem sentiment a jazykové metody pro analýzu sentimentu, například tokenizace, POS tagování, stematizace a lematizace, TF-IDF, word2vec, dál jsou ukázané metody strojového učení pro textovou analýzu: algoritmus k-nejbližších sousedů, multinomický naivní Bayesův klasifikátor, SVM, neuronová síť a BERT model.Praktická část je věnována implementaci, experimentům a srovnaní výsledků metod strojového učení. Bylo implementováno pět různých metod, které zahrnují modul přípravy textu, modul extrakce příznaků a klasifikační modul. Tyto metody jsou SVM, k-nejbližších sousedů, multinomický Bayesův klasifikátor, BERT model a word2vec v kombinaci s SVM. Datová sada pro učení a testovaní klasifikátorů byla stáhnuta ze serveru Kaggle a obsahuje komentáře s označeným sentimentem ze sociální sítě Twitter.Experimenty jsou zaměřeny především na porovnání výsledků metod strojového učení a efektivnost využití jednotlivých metod přípravy a extrakce příznaků z textu. Pro hodnocení klasifikace se používaly takové metriky jako správnost, přesnost, úplnost a F-míra. Podle experimentů nejlepším algoritmem z těchto popsaných(studovaných) je BERT model.

Abstract:

The content of this thesis is Twitter sentiment analysis. In descriptive part is explained natural language processing(NLP), application of NLP, the concept of sentiment and language methods for sentiment analysis, such as tokenization, POS tagging, stematization and lemmatization, TF-IDF, word2vec, machine learning methods for text analysis, such as k- nearest neighbors, multinomic naive Bayesian classifier , BERT model, neural network and SVM.The practical part is devoted to the implementation, experiments and comparison of the results of classifiers. Were implemented five different methods, which include a text preparation module, a feature extraction module and a classification module.These methods are SVM, k-nearest neighbors, multinomically Bayes classifier, BERT model, and word2vec in combination with SVM. The dataset for training and testing classifiers was downloaded from the Kaggle server and contains comments with tagged sentiment from Twitter social network.The experiments are mainly focused on the comparison of machine learning methods and the effectiveness of the application of different methods for preparation and feature extraction from the text. Metrics such as accuracy, precision, recall and F1 score were used to evaluate the classification.According to the experiments, the best algorithm of the ones described (studied) is the BERT model.

Klíčová slova

klasifikátor, analýza sentimentu, NLP, tokenizace, BERT

Keywords

classifier, tokenization, BERT, NLP, sentiment analysis

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 29. 10. 2019

Obhajoba závěrečné práce

• Obhajoba proběhla 3. 6. 2020
• Vedoucí: David Chudán
• Oponent: Petr Strossa

Vysoká škola ekonomická v Praze

Magisterský studijní program / obor:
Aplikovaná informatika / Podniková informatika