Assessment of the State-of-the-art Benchmarks Used to Evaluate Social Reasoning and Theory of Mind in LLMs

Bc. Lucia Horníková

Master's thesis

Abstract:

Veľké jazykové modely dnes dosahujú pozoruhodné výsledky v rôznych aplikačných úlohách, čo prirodzene vyvoláva otázku, či disponujú schopnosťou uvažovania. V rámci hľadania odpovede na túto otázku vzniklo viacero hodnotiacich sád (angl. benchmarks), vytvorených odborníkmi alebo formou crowdsourcingu. Predkladaná diplomová práca sa zameriava na tri často využívané sady z oblasti teórie mysle a sociálneho uvažovania — SocialIQa, FauxPas-EAI a ToMi — a skúma, akým spôsobom sú v súčasnosti jazykové modely hodnotené. Jej cieľom je preskúmať kvalitu týchto hodnotiacich sád, identifikovať ich potenciálne nedostatky a obmedzenia a tým posúdiť ich spoľahlivosť. Na tento účel sú na všetkých troch sadách otestované štyri veľké jazykové modely (GPT-3, ChatGPT, GPT-4 a GPT-o1), pričom ich odpovede sú následne pod odborným dohľadom ručne anotované. Tieto anotácie ďalej slúžia ako diagnostické signály na odhalenie viacerých problémov v dátach jednotlivých sád — od štruktúrnych a sémantických až po pragmatické. Okrem chýb na úrovni dát práca odhaľuje aj viacero nedostatkov v samotných hodnotiacich postupoch, ktoré ovplyvňujú vyhodnocovanie výkonu modelov a interpretáciu dosiahnutých výsledkov. Naše zistenia ukazujú, že výkon modelov je často ovplyvnený chybnými či nekvalitnými dátami, neadekvátnymi hodnotiacimi schémami a opieraním sa o povrchové jazykové vzorce.

Abstract:

Large language models have demonstrated impressive performance on various downstream tasks, hinting at possible reasoning capabilities. To assess whether these models can reason beyond surface-level inference, various benchmarks have been created, whether collected from human experts or crowdsourced. This thesis focuses on three commonly used state-of-the-art benchmarks for the task of social reasoning and Theory of Mind, SocialIQa, FauxPasEAI, and ToMi, and examines how the models are currently evaluated. It specifically aims to inspect the mentioned benchmarks, identify the potential limitations, and consequently re-evaluate their reliability. For this purpose, four closed-source LLMs (GPT-3, ChatGPT, GPT-4, and GPT-o1) are evaluated on all three benchmarks. Subsequently, the outputs of all models in each benchmark are manually annotated under the supervision of a senior researcher. The annotations of the human judges are then used as diagnostic signals to uncover several issues in each benchmark, spanning from structural to semantic to pragmatic flaws. Besides dataset-level errors, several evaluation-level issues are identified that affect how benchmark performance is evaluated and the scores are interpreted. Our findings reveal that model performance is often influenced by flawed data, fragile evaluation protocols, and a reliance on surface-level cues.

Keywords

LLMs, cognitive abilities, reasoning, Theory of Mind, benchmarks, evaluation

Language used: English

Date on which the thesis was submitted / produced: 1. 12. 2025

Thesis defence

• Date of defence: 29. 1. 2026
• Supervisor: Ph.D. Seyed Mahed Mousavi
• Reader: Mgr. Hana Žižková, Ph.D.

Masaryk University

Faculty of Arts

Master programme / field:
Computational Linguistics / Computational Linguistics