Ovlivňování generování textu biologickým signálem

Ing. Jaromír SALAMON

Doctoral thesis

Influencing text generation with biological signal

Abstract:

Disertační práce představuje nový přístup nazvaný "Ovlivňování generování textu biologickým signálem". Původní motivací bylo řešení problému prevalence psychologických onemocnění a narůstající nedostatek dostupné lékařské péče. Její nahrazení dialogovými systémy reagujícím na biologické signály z nositelných zařízení by představovalo moderní řešení. Díky překotnému vývoji a popularitě velkých jazykových modelů, jako je ChatGPT, došlo k úpravě původního záměru na nový, s důrazem na význam neverbálních signálů v interakci člověka s počítačem a využití biologických signálů (stress), pro obohacení úkolů zpracování přirozeného jazyka (NLP) o emocionální povědomí. Práce se soustředí na využití ukazatelů stresu, konkrétně variability srdečního rytmu (HRV), pro ovlivnění úkolů generování textu. Počáteční pokusy s využitím různých strojových učících modelů pro kategorizaci stresu na základě parametrů HRV nevedly k očekávaným výsledkům, což mělo za následek výběru původního datasetu s klasifikovanými úrovněmi stresu, jako signálu pro ovlivňování. Práce pokračuje vývojem vlastních textových korpusů. Přičemž demonstruje, že i malé, pečlivě připravené korpusy mohou mít významný dopad na NLP úkoly. Se zdůrazněním kvality nad kvantitou při konstrukci korpusu. Výsledky dvou úkolů generování textu - překladu a parafrázování - potvrzují, že externí biologická data mohou účinně ovlivnit výsledky generování textu, při dosažení vysoké úrovně přesnosti ovlivnění překladu nebo parafrázování. Tato zjištění nejenže potvrzují výzkumnou hypotézu, ale také přispívají cennými poznatky do oblasti NLP, zejména v pochopení a zahrnutí emočního kontextu. Závěrem práce rekapituluje, že i přes změnu zaměření z dialogových systémů na konkrétní úkoly generování textu, úspěšně demonstruje, jak mohou externí data ovlivnit NLP aplikace, konkretně překladu a parafrázování textu. Tento výzkum přispívá k pochopení emocí při interakcích člověka s počítačem, což je předpokladem pro budoucí výzkum ovlivňování například dialogových systémů. Další výzkum je očekáván, zejména rozšíření rozsahu korpusu pomocí větších předem natrénovaných jazykových modelů a prozkoumání multimodálních fyziologických signálů jako dalších zdrojů ovlivňujících dat.

Abstract:

This Ph.D. thesis introduces a novel approach titled "Influencing text generation by biological signal". It begins by highlighting the increasing prevalence of psychological disorders and the gap between affected individuals and available treatments, proposing dialogue systems enhanced with biological signals from wearables as a modern solution. The motivation evolves to address the rapid advancement and popularity of large language models like ChatGPT, emphasizing the importance of non-verbal cues in human-computer interaction and the potential of biological signals, such as stress, to enrich natural language processing (NLP) tasks with emotional awareness. The methodology centers on leveraging stress indicators, specifically heart rate variability (HRV), to influence text generation tasks. Initial attempts using various machine learning models to categorize stress based on HRV parameters faced challenges, leading to the selection of the source dataset for its pre-classified stress levels. The thesis advances by developing custom corpora, demonstrating that even small, meticulously curated datasets can significantly impact NLP tasks, highlighting the importance of quality over quantity in corpus construction. The results from two text generation tasks translation and paraphrasing verify that external biological data can effectively influence NLP outcomes, achieving high accuracy rates in reflecting the intended text translation or paraphrasing. These findings not only validate the research hypothesis but also contribute valuable insights and tools to the field of NLP, particularly in understanding and incorporating emotional context. In conclusion, this work narrows the focus from broad dialogue systems to specific text generation tasks, successfully demonstrating how external data can enhance NLP applications. This research contributes to a more nuanced understanding of emotional communication in human-computer interactions, laying the groundwork for future explorations into dialogue systems and beyond. Further research is encouraged, particularly in expanding the scope to include larger pre-trained language models and exploring multimodal physiological signals as other sources of influencing data.

Keywords

generování textu, biologický signál, zpracování přirozeného jazyka, variabilita srdečního rytmu, tepová frekvence, stres, dialogové systémy, parafrázování textu, textový korpus, strojové učení, rozsáhlé textové modely

Language used: English

Date on which the thesis was submitted / produced: 29. 2. 2024

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Ing. Roman Mouček, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Computer Science and Engineering / Computer Science and Engineering