Validity of answers in self-report psychology questionnaires: Item proximity effect and careless responding

Mgr. Jaroslav Gottfried

Doctoral thesis

Abstract:

Tato disertační práce se zabývá tématem validity odpovědí v sebeposuzovacích psychologických dotaznících. Specificky se zaměřuje na dva fenomény, které mají potenciál validitu ovlivnit: 1) efekt blízkosti položek a 2) nedbalé odpovídání. Disertační práce identifikuje smíšené a často nepřímé důkazy o efektu blízkosti položek a vzhledem k nedávným pochybnostem o replikovatelnosti jistých efektů pořadí položek se pokouší replikovat výsledky předchozích studií za použití psychologického dotazníku se znáhodněným pořadím položek pro každého respondenta. Jak ukazuje studie A, efekt blízkosti položek nebyl v datech nalezen, což zpochybňuje obecnou platnost efektu. Tato disertační práce také identifikuje značný nedostatek kvalitativních a exploračních studií ohledně podstaty nedbalého odpovídání, což vede k nejasné definici tohoto fenoménu a jeho vágní charakterizaci. Studie B byla proto navržena tak, aby poskytla kvalitativní vhled, přičemž její výsledky jsou konzistentní s většinou teoretických modelů odpovídání. Zatímco účastníci studie často odpovídali stylem, který může být označen za mírně nedbalý, byla zároveň podpořena i existence arbitrárních strategií odpovídání, čili silně nedbalého stylu. Výsledky naznačují, že tyto dva typy nedbalého odpovídání nejsou na stejném kontinuu, ale představují spíše dva kategoricky odlišné přístupy k odpovídání. Mírná nedbalost se navíc sama o sobě nezdá být příčinou nesprávnosti odpovědí, ale může moderovat a zesilovat nežádoucí efekty jiných faktorů na validitu. Studie C staví na možnosti přítomnosti jistých systematických vzorců v arbitrárně zvolených odpověďových vzorcích a navrhuje novou techniku pro účely detekce takových vzorců. Studie C popisuje citlivost autokorelační analýzy k repetitivním vzorcům a vyvíjí balíček k softwarovému programu R a webovou aplikaci Shiny coby veřejně dostupné nástroje ke skríninkové identifikaci odpovědí nedbalých respondentů v datech. Celkově vzato, výstupy jednotlivých studií poukazují na vhodnost kritické revize efektů odpovídání a na stále relativně malé pochopení tématu nedbalého odpovídání, které poskytuje velký prostor pro budoucí studie, zvláště když jsou tato témata důležitá nejen pro psychologii, ale v zásadě pro jakýkoliv výzkumný obor používající sebeposuzovací dotazníkové metody.

Abstract:

This dissertation focuses on the topic of the validity of answers in self-report questionnaires in psychology. It specifically aims at two phenomena which have the potential to affect the validity: 1) the item proximity effect and 2) the careless responding. The dissertation identifies mixed and often indirect evidence about the item proximity effect and with regard to recent doubts about the replicability of certain item order effects, it attempts to replicate the results of previous studies using a psychology questionnaire with randomized item order for each respondent. As shown in Study A, the item proximity effect could not be detected in data, challenging the general applicability of the effect. The dissertation also identifies a considerable lack of qualitative and explorative studies on the nature of careless responding, which makes this phenomenon’s definition blurry and its characteristics vague. Therefore, Study B has been designed to provide a qualitative insight and the results are consistent with most of theoretical models of responding. While the study participants often engaged in what can be labelled as the light carelessness, the existence of the arbitrary response strategies, or heavy carelessness, has been supported. The results suggest the two types of careless responding are not on a continuum, but rather presents two categorically different approaches to responding. Additionally, the light carelessness per se seems not to be the cause for the invalidity of answers, but it might moderate and enhance the undesirable effects of other factors on validity. Study C builds on the possibility of occurrence of certain systematic patterns in the arbitrarily chosen response patterns and proposes a new technique in order to detect such patterns. Study C describes how the autocorrelation analysis is sensitive to repetitive patterns and develops an R software package and a Shiny web application as publicly available screening tools which have the potential to identify answers from careless respondents in data. Overall, the outputs of the individual studies suggest that a critical revision of responding effects might be in order, while other topics like the careless responding are still relatively poorly understood and offer a lot of room for future studies, especially when these topics are important not only to psychology, but basically any field of research using self-report questionnaire methods.

Keywords

validity, questionnaire, self-report, response style, item proximity effect, item order, careless responding

Language used: English

Date on which the thesis was submitted / produced: 14. 3. 2022

Thesis defence

• Date of defence: 22. 4. 2022
• Supervisor: doc. Mgr. Stanislav Ježek, Ph.D.
• Reader: doc. Mgr. et Mgr. Hana Macháčková, Ph.D., Ing. Mgr. et Mgr. Štěpán Bahník, Ph.D.

Masaryk University

Faculty of Social Studies

Doctoral programme / field:
Psychology / General psychology