Classifying semantically related words with large language models

Bc. Karolína Krejčiříková

Bachelor's thesis

Anotácia:

Cílem práce bylo prozkoumat schopnost jazykových modelů rozeznávat sémantické vztahy mezi slovem a jeho příbuznými slovy z Thesauru ve SketchEnginu. Práce také zkoumala, jaký je pro tuhle úlohu nejlepší prompt. Porovnávala jsem odpovědi pěti velkých jazykových modelů s referenčními daty, které byly ručně anotovány. Porovnala jsem celkem 9450 párů slov ve třech jazycích: češtině, slovenštině a angličtině. Výsledkem je, že jazykové modely nejsou dostatečně dobré pro rozeznávání sémantických vztahů

Abstract:

The aim of the work was to investigate the ability of Large Language Models (LLMs) to recognize semantic relationships between a word and its related words from Thesaurus within SketchEngine. In the course of my thesis, I searched for the best prompt for this task and found the LLM which performs the task of semantic recognition at the best. The work compares five Language models with referenced data created by human annotator. There was compared 9450 word pairs in three languages: Czech, Slovak, and English. The result showed that LLMs are not able to sufficiently classify semantic relationships. The highest performance achieved Claude.

Keywords

Large Language model, semantic relationships, synonyms, antonyms, Thesaurus

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 6. 5. 2025

Obhajoba závěrečné práce

• Obhajoba proběhla 6. 6. 2025
• Vedúci: RNDr. Vojtěch Kovář, Ph.D.
• Oponent: RNDr. Miloš Jakubíček, Ph.D.

Masaryk University

Faculty of Arts

Bachelor programme / odbor:
Computational Linguistics / Computational Linguistics