Detecting Psychological Phenomena in Dialogues

Mgr. Ondřej Sotolář

Advanced ('rigorózní') thesis

Abstract:

Cílem předkládané disertační práce je prozkoumat možné přístupy k detekci psychologických jevů v konverzacích prostřednictvím služby Instant Messenger (IM) a srovnat jejich účinnost. Práce představí vlastní hypotézy a ověří je návrhem, tréninkem a vyhodnocením prediktivních modelů. Výsledná práce poskytne ucelený přehled různých metod a jejich účinnosti. Půjde o první práci v této oblasti na reálných IM konverzacích poskytovaných dospívajícími. Výsledky by mohly být využity například v rodičovských aplikacích, aplikacích pro duševní zdraví, detekci rizikového chování na internetu, detekci záměrů pro chatboty a mnoha dalších. Řešení budou postavena na metodách používaných v oblasti zpracování přirozeného jazyka (NLP). V této oblasti se využívá metod strojového učení založeného na datech. V současné době se pozornost zaměřuje na využití jazykových modelů založených na neuronových sítích, které zvyšují efektivitu řešení dalších úloh. Jazykové modely jsou předem natrénovány na obrovském množství textu a poté začleněny do řešení konkrétního problému podle metodiky transferového učení. Překážky, které by měly negativně ovlivnit účinnost detekce, jsou následující: vzdálenost jazykové domény IM konverzací od ostatních, kvalita a množství anotovaných dat a složitost vzorů v datech, které identifikují cílové jevy. Psychologické jevy, na které se práce zaměří, byly zúženy na výběr, který byl odvozen z relevantního výzkumu a teorie v oblasti psychologie a komunikace. Jevy jsou rozděleny do dvou kategorií: Podpůrné interakce (SI) a Online rizika (OR). Obě kategorie se vztahují k různým, koncepčně nesouvisejícím typům komunikačního chování a liší se svými jazykovými rysy. SI zahrnuje řadu komunikačních chování orientovaných na stejný záměr: poskytnout sociální podporu prostřednictvím mezilidské komunikace jinému účastníkovi rozhovoru. OR zahrnuje několik odlišných témat, která jsou spojena s různými riziky pro zdraví a vývoj dospívajících, a to jak na interakční, tak na ideové úrovni jazyka. Primárním zdrojem dat pro tuto práci jsou IM konverzace českých adolescentů v českém jazyce. Současný výzkum, prováděný ve výzkumném ústavu IRTIS na Masarykově univerzitě, jehož bude práce součástí, zkoumá vliv používání chytrých telefonů na well-being dospívajících prostřednictvím analýzy dat získaných na zařízení. Významnou část těchto dat tvoří IM konverzace, kde detekce vybraných psychologických fenoménů umožní měření užívání chytrých telefonů s vysokou validitou. Poskytne pohled na to, co uživatelé na svých zařízeních v IM konverzacích skutečně dělají, a na možné dopady na jejich well-being. A konečně, konverzace v IM mohou obsahovat citlivé nebo osobně identifikující informace, proto je třeba tyto údaje pro uložení a zpracování anonymizovat. Jedná se o náročný problém bez účinného řešení. Anonymizace IM konverzací je dílčím úkolem navrhované práce, protože se jedná o nezbytný krok, který předchází jakékoli práci v této oblasti. Řešení anonymizace mohou stát samostatně a poskytují praktickou metodiku a nástroje pro budoucí práci.

Abstract:

The proposed dissertation thesis aims to explore possible approaches to detecting psychological phenomena in Instant Messenger (IM) conversations and report their effectiveness. The thesis will propose hypotheses and verify them by designing, training, and evaluating predictive models. The resulting work will provide a comprehensive overview of different methods and their effectiveness. It will be the first work in this area on real IM conversations provided by adolescents. The results could be used, for example, in parental applications, mental health applications that supervise users' well-being, the detection of risky online behavior, intent detection for chatbots, and many more. The solutions will be built on the methods used in Natural Language Processing (NLP). In this field, state-of-the-art methods use data-driven Machine Learning approaches. The current focus is on using neural network-based language models to improve the efficiency of the solutions for various unrelated tasks. The language models are pre-trained on vast quantities of text, then incorporated into the solution for a particular problem, following the methodology of transfer learning. The obstacles expected to affect the detection effectiveness negatively are the following: the language domain distance of IM conversations from others, the quality and quantity of the annotated data, and the complexity of the patterns in the data that identify the target phenomena. The psychological phenomena that the thesis will focus on were narrowed down to a selection that was derived from relevant research and theory in the fields of psychology and communication. The phenomena are grouped into two categories: Supportive Interactions (SI) and Online Risks (OR). Both categories refer to different, conceptually unrelated types of communicative behavior and differ in terms of their linguistic features. SI covers a range of communicative behaviors oriented toward the same intention: to provide social support through interpersonal communication to another participant in the conversation. OR covers several distinct topics that are associated with different risks to adolescents' health and development, both at the interactional or ideational levels of language. The primary data source for the thesis consists of IM conversations of Czech adolescents in the Czech language. Current research, conducted at the IRTIS research institute at Masaryk University, which the thesis will be a part of, examines the effect of smartphone use on the well-being of adolescents through analyzing data collected on-device. The IM conversations constitute a significant portion of this data, and detecting selected psychological phenomena will allow for the measurement of smartphone use with high validity. It will provide insights into what the users actually do on their devices in IM conversations and the possible impacts on their well-being. Finally, IM conversations may contain sensitive or personally identifying information; therefore, these data need to be anonymized to be stored and processed. It is a challenging problem without an effective solution. The anonymization of IM conversations is a sub-task of the proposed thesis because it is a necessary step that precedes any work in this domain. The solutions for anonymization can stand independently, providing practical methodology and tools for future work.

Keywords

natural language processing, psychological phenomena, IM conversations, dialogue

Language used: English

Date on which the thesis was submitted / produced: 20. 9. 2022

Thesis defence

• Date of defence: 18. 1. 2023
• Reader: doc. Mgr. Pavel Rychlý, Ph.D., doc. Ing. Pavel Král, Ph.D.

Masaryk University

Faculty of Informatics

Advanced ('rigorózní řízení') programme / field:
Artificial intelligence and data processing / Artificial intelligence and data processing