Propaganda Detection using Stylometric Text Analysis

Bc. Radoslav Sabol

Master's thesis

Abstract:

Cieľom propagandistických kampaní je širenie dezinformácií a manipulácia cieľových skupín. Jednoducha dostupnosť a virálne vlastnosti Internetu poskytuje ideálne prostredie na šírenie obsahu, ktorý cieľene ovplyvňuje zmýšľanie obyvateľstva. Tento obsah je šikovne zamaskovaný ako spoľahlivý zdroj informácií, ktorý si vyžaduje značné sústredenie a znalosti úzko súvisiace s tématikou na odhalenie jeho manipulatívnej stránky. Preto je vývoj nástrojov na automatickú analýzu textu nevyhnutný na ochranu alebo varovanie používateľov pred manipulatívnym obsahom. Hlavným cieľom tejto práce je automatická detekcia manipulatívneho štýlu českých dokumentov s využitím štýlometrických textových rysov. Práca je zameraná na odhaľovanie rôznych manipulatívnych techník využitím množiny rysov s približne 20,000 numerickými hodnotami, ktoré popisujú štýl písania dokumentu. Prezentované prístupy sú vyhodnocované pomocou českej dátovej sady Propaganda, kde štýlometrické techniky mierne prevyšujú ostatné prístupy vo väčšine atribútov datasetu.

Abstract:

Propaganda campaigns aim to spread disinformation and manipulate the target audience. The accessibility and the viral nature of the Internet provide an ideal environment for spreading content that affects the population's mindsets to a specific agenda. This content is cleverly disguised as a reliable information source, requiring significant focus and background knowledge to uncover its manipulative nature. That is why developing automated text analysis tools is essential in protecting or warning users from manipulative content. The main goal of this thesis is to automatically detect the manipulative style of Czech documents by utilizing stylometric text features. The work is focused around detecting various manipulative techniques by exploiting a feature vector of approximately 20,000 numerical features that describe the writing style of a document. The presented approaches are benchmarked using the Czech Propaganda benchmark dataset, where the stylometric techniques slightly outperform other approaches in most dataset attributes.

Keywords

deep learning, experimental, implementation, machine learning, NLP, manipulative style recognition

Language used: English

Date on which the thesis was submitted / produced: 13. 12. 2022

Thesis defence

• Date of defence: 21. 6. 2023
• Supervisor: doc. RNDr. Aleš Horák, Ph.D.
• Reader: RNDr. Ondřej Herman

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence