Analýza sentimentů v textech

Marek Hajdík

Master's thesis

Sentiment Analysis in Text

Abstract:

Tato diplomová práce se zabývá analýzou sentimentu v textových dokumentech. Cílem bylo popsat vybrané metody, implementovat je a otestovat na vhodných datových sadách. Teoretická část se věnuje problematice zpracování přirozeného jazyka a metodám pro rozpoznání sentimentu. Jsou zde uvedeny úrovně analýzy, příprava textu, možné komplikace a rozdělení metod pro řešení tohoto problému. Dále je stručný popis metod, které v současnosti dosahují nejlepších výsledků při klasifikaci sentimentu a podrobný popis vybraných algoritmů, použitých v praktické části práce. Všechny vybrané algoritmy se řádí do oblasti strojového učení a byly vybrány na základě aktuálních trendů. Praktická část se věnuje detailům implementace vybraných metod a návrhům neuronových sítí. Poté jsou všechny metody ověřeny a porovnány pomocí různých experimentů, jež testují účinek předzpracování textu, optimalizaci hyperparametrů a vliv rozšíření struktur neuronových sítí. Pro provedení experimentů byly vybrány tři datové sady tak, aby ověřily metody při nedostatečném a nadměrném množství dat.

Abstract:

This thesis deals with the sentiment analysis in text documents. The aim of the thesis was to describe selected methods, to implement them and to test them on appropriately selected datasets. The theoretical part deals with the issue of natural language processing and the description of methods for sentiment recognition. Levels of analysis as well as text preprocessing, possible complications and division of methods for solving this task are presented in this part. There is a also brief description of the methods, that currently achieve the best results in the sentiment classification and detailed description of selected algorithms used in the practical part of the work. All selected algorithms are in the field of machine learning and were selected according to current trends. The practical part is focused on the details of the implementation of selected methods and neural network designs, followed by the verification and comparison of all methods using various experiments. These experiments test the effect of text preprocessing, hyperparameter optimization and the effect of changes in neural network structures. To perform said experiments, three datasets were selected to validate the methods both with insufficient and excessive amount of data given.

Keywords

analýza sentimentu, klasifikace textů, strojové učení, zpracování přirozeného jazyka, neuronové sítě, FastText, SDCA, Averaged perceptron, LSTM, konvoluční sítě, předzpracování textu, ML .NET, TensorFlow

Keywords

sentiment analysis, text classification, machine learning, natural language processing, FastText, SDCA, Averaged perceptron, LSTM, convolutional neural networks, text preprocessing, ML .NET, TensorFlow

Language used: Czech

Date on which the thesis was submitted / produced: 30. 4. 2020

Thesis defence

• Date of defence: 24. 6. 2020
• Supervisor: Jan Platoš
• Reader: Pavel Krömer

VSB – Technical University of Ostrava

Fakulta elektrotechniky a informatiky

Master programme / field:
Informační a komunikační technologie / Informatika a výpočetní technika