Automatic Detection of Fake News

Bc. Martin Bažík

Master's thesis

Abstract:

V dobe stále rastúcej prítomnosti sociálnych médií a online spravodajských zdrojov je stále ťažšie rozlíšiť rozdiel medzi pravdivými a nepravdivými informáciami. Existujú dôkazy, že šírenie falošných správ sa v minulosti používalo na presvedčenie ľudí a zámerné naklonenie verejnej mienky tak, aby uspokojovala osobné potreby alebo potreby skupiny. Kvôli tomu je dôležitá téma falošných správ a ich správna detekcia. Všeobecne sa hovorí, že príjemca informácií by mal skontrolovať zdroje. Dôveryhodnosť správ však môže byť zložitým problémom, ktorý si vyžaduje viac ako jediný pohľad na zdroj správ. V tejto práci sa snažíme vylepšiť binárnu detekciu dôveryhodnosti správ na hodnotu true alebo false definovaním dôveryhodnosti v kontinuálnom meradle. Hlavným dôvodom tejto formulácie je poskytnúť prijímateľovi správy komplexnejší prehľad o dôveryhodnosti informácií. Správa nemusí byť úplne falošná alebo pravdivá. Prístup zvolený pre tento problém je založený na výskume existujúcich riešení pre detekciu falošných správ a ich kombinovaní za účelom vytvorenia jediného hybridného modelu, ktorý by sa na problém díval z rôznych uhlov pohľadu. Funkcie použité v tomto modeli vychádzajú z textu a metadát spravodajského článku, ako aj zo správania príslušných interakcií a ich šíriteľov na sociálnych sieťach. Dátový set FakeHealth, ktorý sa používa pri tejto práci, pozostáva z novinových článkov týkajúcich sa zdravia a záväzkov na Twitteri. Natrénovali sme, analyzovali a vybrali algoritmus strojového učenia pre každý základný podmodel a potom tieto predpovede skombinovali pomocou ensemblu, aby sme poskytli jednu hodnotu predstavujúcu dôveryhodnosť analyzovaných správ. Textové prvky pozostávajú z reprezentácie vektorového priestoru pomocou vektorizácie BoW, TF-IDF, Word2Vec a Doc2Vec spolu s vlastnoručne extrahovanými funkciami založenými na výskyte určitých slov a vzorov. Okrem textových vlastností sme použili aj funkcie sociálnych médií, kde sme extrahovali strom šírenia na výpočet dôveryhodnosti šírenia, užívateľského profilu a odborných znalostí pre dôveryhodnosť používateľa. Nakoniec sa tieto pod odhady skombinujú pomocou vyššie uvedeného ensemblu pomocou naskladania a priemeru. Analýza dát bola prevedená na dátových setoch LIAR a FakeHealth, zatiaľ čo experimenty sa uskutočňovali na druhom. Najlepšia sada funkcií pozostávala z reprezentácie TF-IDF s použitím frekvencie sublearného TF a na 10 000 dimenziách odhadnutých regresorom Gradient Boosting. Na našej úlohe táto reprezentacia prekonala robustnejšie priemerované Word2Vec a Doc2Vec. RMSE tohto základného modelu bola 0,208 s významným Pearsonovým korelačným koeficientom 0,51. Zavedenie ensemble metód kombináciou ďalších obsahovo založených predpovedí s predchádzajúcou dôveryhodnosťou autorov a zdrojov znížilo RMSE na 0,198 a zlepšilo korelačný koeficient na hodnotu 0,57, ku ktorej prispeli hlavne obsahové vlastnosti. Dôležitosť funkcie TF-IDF bola svedkom aj vtedy, keď sme zmenšili problém na binárnu klasifikáciu a dosiahli mieru F1 0,812. Na druhej strane náš prístup ukázal svoje obmedzenia v prípade odhadov založených na dátach zo sociálnych médií. Vlastnosti, ktoré boli extrahované zo stromov šírenia spolu s profilmi šíriteľa, v kombinácii s jednoduchými algoritmami strojového učenia a zavedenou agregáciou neboli dostatočné na prekonanie základnej čiary priemernej dôveryhodnosti dátovej sady. Aj keď bol výsledný súbor použitý počas skladacieho ensemblu, bol lepší ako súbor natrénovaný z vlastností extrahovaných priamo z textu. Pre budúci výskum preto navrhujeme použitie robustnejších modelov, ktoré sa dajú trénovať priamo na zostavených grafoch šírenia a ich šíriteľov.

Abstract:

In the age of evergrowing presence of social media and online news sources, it is becoming difficult to distinguish the difference between the true and the false information. There is evidence that the propagation of the fake news was used in the past to persuade the people and intentionally tilt the public opinion to satisfy personal needs or needs of a group. In this way, the topic of the fake news and its correct detection is important. The general knowledge says the receiver of the information should check the sources. However, the credibility of the news may be a difficult problem that requires more than a single view based on a news source. In this thesis, we are trying to enhance the binary detection the news credibility to the true or false by defining the credibility on the continuous scale. The main reason for this formulation is to give the receiver of the news more complex overview of the trustworthiness of the information. The news does not have to be entirely false or true. The approach selected for this problem is based on the field research of the existing solutions for the detection of the fake news and combining them to create a single hybrid model, that would look at the problem from different angles. The features used in this model are based on the text and metadata of the news article as well as the behaviour of the relevant engagements and its spreaders on social media. The dataset, FakeHealth, used for this work consists of the news articles related to the health and engagements on Twitter. We trained, analyzed and selected machine learning algorithm for each base sub-model and afterwards combined these predictions using ensemble to give a single value representing credibility of the analyzed news. The text features consist of vector space representation using BoW, TF-IDF, Word2Vec and Doc2Vec vectorization, together with hand-extracted features based on the occurrence of certain words and patterns. Alongside the text features, we also used social media features, where we extracted propagation tree to calculate propagation credibility and user profile and expertise for user credibility. In the end, these sub-estimators are combined using the aforementioned ensembles using stacking ensemble and averaging. The exploration of the data was conducted on the LIAR as well as the FakeHealth dataset, while the experiments were conducted on the latter. The best feature set consisted out of TF-IDF representation with the use of sublinear term frequency and on 10000 dimensions estimated by Gradient boosting regressor. In our task, this representation outperformed more robust averaged Word2Vec and Doc2Vec. The RMSE of this base model was 0.208 with significant Pearson correlation coefficient of 0.51. The introduction of ensemble methods by combining other content-based predictions with the previous credibility of authors and sources decreased RMSE to 0.198 and improved the correlation coefficient to reach the value of 0.57 that was mainly contributed by the content features. The importance of the TF-IDF feature was witnessed even when we reduced problem into the binary classification, reaching F1 measure of 0.812. On the other hand, our approach has shown its limitations in the case of estimations based on the data from social media. The features, that were extracted from the trees of the propagation together with spreader profiles, combined with simple machine learning algorithms and introduced aggregation were not sufficient to outperform the baseline of the mean credibility of the dataset. Even when used during the stacking the resulting ensemble was outperformed by the ensemble trained on the features extracted directly from the text. Hence, for future research, we suggest using more robust models that can train directly on the constructed propagation graphs and its spreaders.

Keywords

ake news detection, deception detection, natural language processing, TF-IDF, Word2Vec, Doc2Vec, information credibility, false information, machine learning, PageRank, feature selection, feature extraction, feature analysis, social media, ensemble learning, regression analysis, network analysis, propagation analysis, health news

Language used: English

Date on which the thesis was submitted / produced: 7. 1. 2021

Thesis defence

• Date of defence: 11. 2. 2021
• Supervisor: doc. Mouzhi Ge, Ph.D.
• Reader: RNDr. Stanislav Chren

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence