Aplikace Bayesovského přístupu v rámci teorie odpovědi na položku

Mgr. Tomáš Prošek, Ph.D.

Doctoral thesis

Application of Bayesian Approach to Item Response Theory

Abstract:

Bayesovská statistika je stále populárnějším přístupem zejména k modelování komplexních problémů. V centru Bayesovské statistiky se nachází tzv. Bayesův teorém. Aplikační možnosti Bayesovkého přístupu jsou rozsáhlé. V této práci jsme se zaměřili na Bayesovskou teorii odpovědi na položku, jejíž princip byl demonstrován ve dvou samostatných studiích. V první studii se 77 participantů zúčastnilo úlohy detekce slova. Údaje o reakčních časech a odpovědích byly analyzovány prostřednictvím hierarchického a Q-difúzního IRT modelu. Výsledky odhalily blízký vztah mezi konceptuálně obdobnými parametry obou modelů. Obtížnost položek odrážela frekventovanost slov a současně reakce na pseudoslova byla pomalejší než na slova skutečná. Princip a výhody obou modelů byly posléze diskutovány. Druhá studie se za-měřila na návrh a ověření zkrácené verze dotazníku CAT-PD. Tato metoda měří širší maladaptivní rysy osobnosti. Cílem bylo vytvořit dotazník na principu vynucené volby, který má potenciál redukovat různé zdroje zkreslení včetně záměrného zveličování odpovědí. Výsledný návrh sestával z 90 položek rozdělených do 45 bloků. Tento dotazník vykazuje adekvátní reliabilitu. Posouzena byla také konvergentní validita s koncepčně podobnými konstrukty. Ačkoliv důkaz o konvergentní validitě byl nalezen, není natolik silný, abychom mohli jasně deklarovat uspokojivou konvergentní validitu CAT-PD.

Abstract:

Bayesian statistics is becoming more and more popular, especially when dealing with complex issues. At the center of Bayesian statistics is the so-called Bayes theorem. The applicability of the Bayesian approach is wide. In this chapter, we focused on the Bayesian item response theory. Two studies were conducted to demonstrate the basic aspects of the Bayesian approach. First, 77 respondents participated in the lexical detection task. The reaction times and answers were jointly modeled by the hierarchical and Q-diffusion IRT models. The results revealed a close association among conceptually similar parameters of both models. Furthermore, the item difficulty was related to word frequency. Reactions to pseudowords were shorter than to words. The concept and advantages of both models were discussed as well. The second study aimed to propose and verify a brief form of the CAT-PD questionnaire. This instrument measures broad maladaptive traits. The goal was to create a questionnaire based on a forced-choice format. The final proposal contains 90 items grouped into 45 blocks. The brief version of CAT-PD displayed a satisfactory level of reliability. The convergent validity of CAT-PD was examined as well. For this reason, we used other questionnaires that capture conceptually similar constructs. Although the evidence supporting the convergent validity of CAT-PD was found, this evidence was not strong enough to clearly declare that the brief version of CAT-PD has a satisfactory level of convergent validity.

Keywords

Bayesovská statistika, reakční čas, formát nucené volby, difúzní model, IRT, Bayesian statistics, reaction time, forced-choice format, diffusion model

Language used: Czech

Date on which the thesis was submitted / produced: 7. 2. 2023

Thesis defence

• Date of defence: 17. 3. 2023
• Supervisor: doc. PhDr. Martin Jelínek, Ph.D.
• Reader: prof. Mgr. Peter Halama, PhD., prof. PhDr. Tomáš Urbánek, Ph.D.

Masaryk University

Faculty of Arts

Doctoral programme / field:
Psychology / Psychology