Teorie odpovědi na položku a počítačové adaptivní testování

Mgr. Martin Jelínek, Ph.D.

Doctoral thesis

Intem Response Theory and Computerized Adaptive Testing

Abstract:

Předložená práce se zabývá tzv. teorií odpovědi na položku (Item Response Theory - IRT) a počítačovým adaptivním testování (Computerized Adaptive Testing - CAT). V prvních kapitolách je popsána historie IRT a srovnání této teorie s klasickou teorií testů (Classical Test Theory - CTT). Dále jsou představeny základní IRT modely pro dichotomní a polytomní položky, a také postup odhadu parametrů položek a osob. Vzhledem k tomu, že IRT představuje modelově zakotvený přístup k měření, zvolené modely je možno ověřovat z hlediska jejich adekvátnosti vůči datům, což je v práci podrobně popsáno. Představeny jsou také možnosti transformace škály latentního rysu, stejně tak jako konstrukce cílených testů založených na informačním přínosu položek a metody rozpoznání odlišného fungování položek u definovaných skupin respondentů. Ve druhé části práce je popsána historie a základní principy adaptivního přístupu k testování. Kapitola Principy tvorby a fungování počítačového adaptivního testu je obecným úvodem k prezentaci námi vytvořeného software CATO v0.9 (Computerized Adaptive Testing optimized), který slouží k administraci a vyhodnocení adaptivních testů tvořených dichotomně skórovanými položkami.

Abstract:

The presented paper deals with the Item Response Theory (IRT) and Computerized Adaptive Testing (CAT). The beginning of the thesis describes the history of IRT and provides its comparison with Classical Test Theory (CTT). Further basic IRT models for dichotomous and polytomous items together with methods of parameters' estimation are presented. Due to the fact that IRT is a model-based method of measurement, the selected models can be evaluated according to their data fit. Appropriate methods for this evaluation are described in details. Several chapters are devoted to possibilities of latent trait scale transformation, construction of targeted tests based on the item information gain, and methods for detecting of differential item functioning. The second part of the thesis describes the history and basic principles of adaptive testing. The chapter Principles of creation and functioning of a computerized adaptive test acts as a general introduction to the presentation of our original software CATO v0.9 (Computerized Adaptive Testing optimized). This SW is capable of interactive administration and scoring of adaptive tests based on dichotomous items.

Keywords

teorie odpovědi na položku, počítačové adaptivní testování, software CATO, Item Response Theory, IRT, Computerized Adaptive Testing, CAT, CATO software

Language used: Czech

Date on which the thesis was submitted / produced: 13. 6. 2007

Thesis defence

• Date of defence: 25. 6. 2007
• Supervisor: prof. PhDr. Tomáš Urbánek, Ph.D.
• Reader: prof. PhDr. Marek Blatný, CSc., RNDr. Eva Reiterová, Ph.D.

Masaryk University

Faculty of Arts

Doctoral programme / field:
Psychology / General Psychology