Interpretace konjunkce ve velkých jazykových modelech

Milena Chadimová

Bachelor's thesis

Interpretation of conjunction in large language models

Abstract:

Tato bakalářská práce je věnována interpretaci konjunkce ve velkých jazykových modelech (konkrétně GPT 3.5, GPT 4, Gemini a Llama 2) se zaměřením na konjunkci v kontextu kognitivních zkreslení a různých významů konjunkce napříč obory. Měla by v oboru umělé inteligence a zpracování přirozeného jazyka více objasnit, jak se velké jazykové modely chovají ve vztahu ke konjunkci a kognitivním zkreslením s konjunkcí spojených. První část bakalářské práce popisuje odlišná chápání konjunkce z hlediska různých oborů. Dále práce představuje problematiku velkých jazykových modelů. Následně se práce zaměřuje na popsání předchozích studií, z nichž potom vychází druhá, praktická část. Zde je testováno pomocí promptů, zda modely podléhají klamu konjunkce a vlivu reprezentativní heuristiky. Dále se v práci pomocí skrývání částí textu za bezvýznamové identifikátory, v různých podobách zadání, pokoušíme docílit lepších výsledků v testech reprezentativní heuristiky a klamu konjunkce. Jako další zkoumáme, zda výběr spojky použité v možné odpovědi s konjunkcí má vliv na počet správných odpovědí modelů. Nakonec se práce zabývá testováním vlivu použití různých spojek v souvětí na překlad do symbolů predikátové logiky. Následně jsou výsledky testů podrobeny testování hypotéz, konkrétně Fisherovu exaktnímu testu. Testy ukázaly, že velké jazykové modely dokážou při překladu z přirozeného jazyka do symbolů predikátové logiky interpretovat konjunkci lépe, pokud je znázorněna jednodušší spojkou. Z hlediska kognitivních zkreslení a pravidla pravděpodobnosti pro konjunkci si modely nevedou dobře. Modely podléhají vlivu reprezentativní heuristiky a klamu konjunkce. Počet správných odpovědí modelů (u reprezentativní heuristiky a klamu konjunkce) se zlepšil po skrytí částí textu, které podle odpovědí modelu způsobovaly kognitivní zaujetí, za bezvýznamové identifikátory. Změnou spojky (za jednodušší) v možné odpovědi zadání nebylo na základě testů dosaženo signifikantního zlepšení.

Abstract:

This bachelor thesis is devoted to the interpretation of conjunction in large language models (specifically GPT 3.5, GPT 4, Gemini a Llama 2), focusing on conjunction in the context of cognitive biases and the different meanings of conjunction across fields. The thesis should clarify in the field of artificial intelligence and natural language processing, how large language models behave in relation to conjunction and the cognitive biases that are associated with conjunction. The first part of the thesis describes different understandings of conjunction from the perspective of different fields. Next, the paper introduces the issue of large language models. The thesis then focuses on describing previous studies, which then form the basis for the second, practical part. Here it is tested, using prompts, whether models are subject to the conjunction fallacy and the influence of the representational heuristic. Furthermore, by hiding parts of the text behind meaningless identifiers, in various forms of prompts, the thesis attempts to achieve better results in tests of the representational heuristic and the conjunction fallacy. Furthermore, we investigate whether the choice of conjunction used in a possible conjunction answer affects the number of correct model answers. Finally, the thesis tests the effect of using different conjunctions on the translation into predicate logic symbols. The results are then subjected to hypothesis testing, specifically Fisher's exact test. Tests have shown that large language models can interpret conjunction better when translated from natural language to predicate logic symbols if it is represented by a simpler conjunction. In terms of cognitive biases and the probability rule for conjunction, the models do not perform well. The models are subject to the influence of the representational heuristic and the conjunction fallacy. The number of correct model responses (for the representational heuristic and the conjunction fallacy) improved after hiding the parts of the text that the model responses suggested caused cognitive bias behind meaningless identifiers. Changing the conjunction (for a simpler one) in the possible answer of assignment did not result in a significant improvement based on the tests.

Keywords

velké jazykové modely, konjunkce, reprezentativní heuristika, klam konjunkce, ChatGPT, Microsoft Copilot, Gemini, Llama 2

Keywords

conjunction, representativeness heuristic, conjunction fallacy, ChatGPT, Microsoft Copilot, Gemini, Llama 2, large language models

Language used: Czech

Date on which the thesis was submitted / produced: 5. 5. 2024

Thesis defence

• Date of defence: 10. 6. 2024
• Supervisor: Tomáš Kliegr
• Reader: Štěpán Bahník

Vysoká škola ekonomická v Praze

Bachelor programme:
Aplikovaná informatika