The effect of preregistration on the replicability of psychological experimental studies

Adam Szturc

Bachelor's thesis

Abstract:

Práce zkoumá, zda preregistrace, jeden z nástrojů ke zvýšení replikovatelnosti vý-zkumu, svůj úkol skutečně plní. Metodami p‑curve a z-curve bylo na vzorku statistik z nepreregistrovaných a preregistrovaných experimentálních studií v oblasti sociální psychologie získáno několik odhadů replikovatelnosti, které mezi sebou byly porov-návány. Výsledky ukazují, že skupiny se v replikovatelnosti neliší, zato v rozložení p hodnot ano, což ukazuje na publikační zkreslení a možnou zvýšenou přítomnost pochybných vědeckých praktik mezi nepreregistrovanými studiemi.

Abstract:

Thesis examines whether preregistration, a tool that should ensure higher replicabi-lity, does its job. Methods p-curve and z-curve were used to obtain estimates of replicability from samples of statistics from non-preregistered and preregistered experimental studies in social psychology. Comparisons show that the groups do not differ in replicability. However, the distribution of p values from non-preregistered studies implies publication bias and possible increased prevalence of questionable research practices.

Keywords

replikovatelnost, reprodukovatelnost, replikační krize, preregistrace, z-curve, p-curve, metavěda, pochybné vědecké praktiky, publikační zkreslení, replicability, reproducibility, replication crisis, preregistration, metascience, questionable research practices, publication bias

Language used: English

Date on which the thesis was submitted / produced: 11. 5. 2023

Thesis defence

• Date of defence: 6. 6. 2023
• Supervisor: doc. Mgr. Stanislav Ježek, Ph.D.
• Reader: Mgr. et Mgr. Petr Palíšek

Masaryk University

Faculty of Social Studies

Bachelor programme / field:
Psychology / Psychology