Získávání a analýza textových dat pro oblast finančních trhů

Bc. Jonáš Petrovský

Master's thesis

Acquiring and analyzing text data for financial markets

Abstract:

Práce zkoumá souvislost mezi obsahem (a sentimentem) textových dokumentůpublikovaných na internetu a směrem pohybů cen akcií firem na burze. V rámcirešerše jsou stručně popsány finanční resp. akciové trhy, dostupné datové zdrojea možnosti uchovávání dat a relevantní koncepty z oblasti dolování znalostí z textových dat a analýzy sentimentu. Metodika práce zevrubně popisuje postup získávání(Yahoo Finance, Facebook, Twitter), ukládání (MySQL), zpracování (Python, VecText) a analýzy (klasifikace, feature selection, určování sentimentu pomocí slovníku)dat. V rámci práce byl vytvořen modul pro získávání dat a další moduly nutné pro zpracování a analýzu dat. Data byla sbírána po dobu 8 měsíců pro všechny firmy z indexů S&P 500 a FTSEurofirst 300. Výsledky klasifikace ukazují, že pokud je cenový pohyb (oproti aktuálnímu trendu) dostatečně výrazný, existuje poměrně jasnásouvislost. Správnost byla pro Yahoo a Twitter 68-74 % (pro horních 50 % resp.10 % souborů). Výsledky slovníkové metody nebyly tak průkazné (správnost 62 %pro Yahoo). Nicméně bylo zjištěno, že metodou CHI automaticky vygenerovaný slovník sentimentu (1 000 slov) má pro Yahoo a Twitter jen o 2 % nižší správnost než(v rámci práce vytvořený) kombinovaný slovník sentimentu (9 412 slov).

Abstract:

The thesis examines the connection between content (and sentiment) of textdocuments published on the internet and direction of movements of stock prices.First, financial and stock markets, available data sources, options of storing dataand relevant concepts of data and text mining and sentiment analysis are brieflydescribed. Work methodology thoroughly describes the procedure of acquiring (Yahoo Finance, Facebook, Twitter), storing (MySQL), processing (Python, VecText)and analyzing (classification, feature selection, lexicon-based sentiment analysis) thedata. In the thesis, a module for data acquiring and other modules necessary forprocessing and analysis of data were created. The data were collected for all companies in S&P 500 and FTSEurofirst 300 indices during a period of 8 months. Resultsof the classification show that if the price movement is (compared to the currenttrend) sufficiently substantial, there is a rather clear connection. The accuracy was68-74 % for Yahoo and Twitter (for top 50 % and 10 % files). Results of the dictionary method were not so conclusive (62% accuracy for Yahoo). However it wasdiscovered that the sentiment dictionary (1 000 words) that was generated automatically using the CHI method has an accuracy that is only 2 % lower for Yahooand Twitter than the accuracy of the combined sentiment dictionary (9 412 words)which was created as a part of the thesis.

Keywords

výběr důležitých atributů, klasifikace, analýza sentimentu, slovník sentimentu, scikit-learn, Python, text mining, VADER, strojové učení, akciový trh, změna ceny akcie, EWMA, sociální sítě, finanční novinové články, získávání dat z webu

Keywords

stock price return, EWMA, text mining, classification, feature selection, stock market, social networks, financial news articles, sentiment analysis, acquiring data from web, machine learning, sentiment dictionary, VADER, scikit-learn, Python

Language used: Czech

Date on which the thesis was submitted / produced: 23. 5. 2016

Thesis defence

• Supervisor: doc. Ing. František Dařena, Ph.D.
• Reader: Jan Přichystal, Ph.D.

Mendel University in Brno

Faculty of Business and Economics

Master programme / field:
System engineering and informatics / Economic informatics