Multimodal predictive model for analysing news data

Bc. Petr Kadlec

Master's thesis

Abstract:

Cílem této práce je vytvořit prediktivní nástroj využívající multimodální model strojového učení pro kombinovaná textová a vizuální data z datového sady novinových článků k předpovídání politické orientace novinových článků. Tato práce poskytuje souhrnný průzkum multimodálního strojového učení, který zahrnuje taxonomii různých multimodálních výzev, kterým je třeba čelit při konstrukci multimodálního modelu. Kromě toho práce uvádí různé případy použití multimodálního strojového učení, přičemž se nezaměřuje jen výhradně na zpravodajská data. Součástí práce je průzkumná analýza poskytnuté datové sady. Modely strojového učení, které nejlépe vyhovují dané úloze, byly vybrány kombinací prezentovaných teoretických poznámku s výsledky průzkumné analýzy. Ke spojení těchto modelů dohromady bylo využito schéma pozdní fúze pro multimodální strojové učení. Výsledky ukazují, že multimodalita může být použita ke konstrukci silnějšího modelu než při použití čistě textového modelu k předpovědi politické orientace novinových článku, přičemž diskuse o vyhodnocení je uvedena v poslední kapitole.

Abstract:

The aim of this thesis is to create a predictive tool utilising a multimodal machine-learning model for the combined textual and visual data from a dataset of news articles to predict the political orientation of news articles. A thorough exploration of multimodal machine learning is presented, offering taxonomy with insights into the various challenges of constructing such models. Additionally, the thesis delves into diverse applications of multimodal machine learning, including applications outside news data. First, an exploratory analysis of the dataset provided was performed. Machine learning models that best fit the task were chosen by combining the theoretical background presented with the results of exploratory analysis. A late fusion scheme for multimodal machine learning was utilised to combine these models together. The results show that multimodality can be used to construct a stronger model than by just using only a textual model to predict the political orientation of the news article, with a discussion about the evaluation in the last chapter.

Keywords

multimodal learning, news data, classification, computer vision, language models

Language used: English

Date on which the thesis was submitted / produced: 21. 5. 2024

Thesis defence

• Date of defence: 19. 6. 2024
• Supervisor: doc. Mgr. Bc. Vít Nováček, PhD
• Reader: RNDr. Filip Lux

Masaryk University

Faculty of Informatics

Master programme / field:
Artificial intelligence and data processing / Machine learning and artificial intelligence