Mezijazyčná analýza sentimentu

Ing. Pavel PŘIBÁŇ

Doctoral thesis

Cross-lingual Sentiment Analysis

Abstract:

Natural language processing has become an essential part of the artificial intelligence field that is used daily in industry and by millions of people. Sentiment analysis as a fundamental part of natural language processing is no exception. This thesis presents a detailed study of cross-lingual sentiment analysis. The main goal is to explore, evaluate and propose methods to perform sentiment analysis in languages other than English, with a special focus on Czech. This is achieved by proposing cross-lingual methods and techniques for knowledge transfer between languages. The core of the thesis consists of performing the zero-shot polarity detection task in a cross-lingual setting. Namely, we use modern multilingual Transformer-based models and linear transformations combined with CNN and LSTM neural networks. We evaluate their performance for Czech, French, and English. We aim to compare and assess the models' ability to transfer knowledge across languages and discuss the trade-off between their performance and training and inference speed. We build strong monolingual baselines comparable with the current SotA approaches, achieving new state-of-the-art results for Czech and French. Furthermore, we compare our results with the outputs of the latest large language models (LLMs), i.e., Llama 2 and ChatGPT. We show that the large multilingual Transformer-based XLM-R model consistently outperforms all other cross-lingual approaches in zero-shot cross-lingual sentiment classification. We also show that the smaller Transformer-based models are comparable in performance to older but much faster methods with linear transformations. Notably, this performance is achieved with just approximately 0.01 of the training time required for the XLM-R model. It underscores the potential of linear transformations as a pragmatic alternative to resource-intensive and slower Transformer-based models in real-world applications. The LLMs achieved impressive results that are on par or better, at least by 1% - 3%, but with additional hardware requirements and limitations. Overall, we contribute to understanding cross-lingual sentiment analysis and provide valuable insights into the strengths and limitations of cross-lingual approaches for sentiment analysis. Additionally, a new dataset for Czech subjectivity classification is introduced to partly fulfil this thesis's objectives. Next, we present a novel multi-task approach to improve the results of Czech aspect-based sentiment analysis by leveraging information from the semantic role labeling task. Lastly, we applied prompt-based learning to aspect-based sentiment analysis and sentiment classification in the context of LLMs and the Czech language.

Abstract:

Zpracování přirozeného jazyka se stalo důležitou součástí umělé inteligence, kterou denně využívají miliony lidí i firmy v průmyslu. Analýza sentimentu jako přirozená součást zpracování přirozeného jazyka není výjimkou. Tato práce představuje podrobnou studii, která se věnuje mezijazčné analýze sentimentu. Hlavním cílem je prozkoumat, vyhodnotit a navrhnout mezijazyčné metody pro analýzu sentimentu, které dovolují řešit tuto úlohu v jiných jazycích než v angličtině, se zvláštním zaměřením na češtinu. Jádro práce spočívá v mezijazyčných experimentech s úlohou detekce polarity v tzv. zero-shot nastavení, ve kterém jsou k dispozici anotovaná data pouze pro jeden jazyk (zdrojový). Konkrétně v práci využíváme moderní vícejazyčné modely založené na architektuře Transformer a dále modely využívající lineární transformace v kombinaci s neuronovými sítěmi CNN a LSTM. Tyto modely vyhodnocujeme na datových sadách v češtině, francouzštině a angličtině. Naším cílem je porovnat schopnost modelů přenášet znalosti napříč jazyky a zhodnotit kompromis mezi jejich úspěšností a rychlostí trénování a predikce. Pro porovnání jsou vytvořeny základní modely, které dosahují současných state-of-the-art výsledků pro češtinu a francouzštinu. Dále jsou naše výsledky porovnány s výstupy nejnovějších velkých jazykových modelů, tj. modely Llama 2 a ChatGPT. Ukazujeme, že velký vícejazyčný model XLM-R založený na architektuře Transformer konzistentně překonává všechny ostatní mezijazyčné přístupy při tzv. zero-shot detekci polarity. Dále je ukázáno, že menší modely založené na architektuře Transformer jsou výkonnostně srovnatelné se staršími, ale mnohem rychlejšími metodami používající lineární transformace. Této úspěšnosti je dosaženo jen s přibližně 0,01 času potřebného pro natrénování velkého modelu XLM-R. Tyto výsledky podtrhují potenciál metod založených na lineárních transformacích jako pragmatické alternativy. A to zejména v reálných aplikacích používajících modely založených na architektuře Transformer, které jsou pomalejší a náročné na výpočetní zdroje. Velké jazykové modely (Llama 2 a ChatGPT) dosáhly působivých výsledků, které jsou srovnatelné nebo lepší minimálně o 1% - 3%, ale přinášejí další omezení a požadavky. Celkově přispíváme k pochopení mezijazyčné analýzy sentimentu a poskytujeme cenné zkušenosti o silných stránkách a omezeních mezijazyčných přístupů. Dále je představena nová česká datová sada pro detekci subjektivity a navrhnuta nová metoda pro zlepšení výsledků aspektově orientované analýzy sentimentu s vyžitím informací z úlohy značkování sémantických rolí. Nakonec jsme použili moderní techniku nazvanou prompting pro úlohy aspektově orientované analýzy sentimentu a klasifikaci sentimentu.

Keywords

Zpracování přiozeného jazyka, analýza sentimentu, strojové učení, mezijazyčná analýza sentimentu, neuronové sítě, vícejazyčná analýza sentimentu, Transformer

Language used: English

Date on which the thesis was submitted / produced: 2. 4. 2024

Accessible from:: 31. 12. 2999

Thesis defence

• Supervisor: Doc. Ing. Josef Steinberger, Ph.D., Doc. Ing. Josef Steinberger, Ph.D.

University of West Bohemia

Faculty of Applied Sciences

Doctoral programme / field:
Computer Science and Engineering / Computer Science and Engineering