Anotace analýzy sentimentu a postoje pomocí generativního jazykového modelu

Bc. Daniel Šurda

Diplomová práce

Annotation of Sentiment Analysis and Stance using a Generative Language Model

Anotace:

Velké (generativní) jazykové modely v posledních letech zaznamenaly výrazný rozvoj a ukazuje se, že v určitém rozsahu mohou sloužit jako univerzální řešitel jazykových úloh v oblasti zpracování přirozeného jazyka. Cílem této diplomové práce je zjistit, do jaké míry je v současnosti možné pomocí vybraného modelu vytvářet automaticky anotovaná data a jaká jsou jeho omezení. Práce je založena na čtyřech anotačních úlohách s využitím tří anotovaných datasetů, přičemž komunikace s modelem je realizována prostřednictvím API. Výsledky ukazují, že vybraný jazykový model dosahuje vysoké úspěšnosti při anotaci kratších, významově přímočarých textů, zatímco u delších a kontextově bohatších textů jeho úspěšnost klesá.

Abstract:

In recent years, large (generative) language models have undergone rapid development and have demonstrated the potential to serve, to a certain extent, as general-purpose tools for solving linguistic tasks in the field of natural language processing. This thesis aims to evaluate the current feasibility of using a selected language model to automatically generate annotated data, and to identify its limitations. The research is based on four annotation tasks applied to three annotated datasets, with all interactions with the model conducted via an API. The results indicate that the selected model performs well in annotating shorter, semantically straightforward texts, while its performance decreases when dealing with longer and more contextually rich content.

Klíčová slova

velké jazykové modely, large language models, LLM, GPT-4o mini, prompt engineering, sentiment, analýza sentimentu, sentiment analysis, postoj, stance, detekce postoje, stance detection, názor, opinion, anotace, annotation

Jazyk práce: čeština

Datum vytvoření / odevzdání či podání práce: 5. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 6. 6. 2025
• Vedoucí: RNDr. Zuzana Nevěřilová, Ph.D.
• Oponent: Mgr. Hana Žižková, Ph.D.

Masarykova univerzita

Filozofická fakulta

Magisterský studijní program / obor:
Počítačová lingvistika / Počítačová lingvistika