Bayesian and Sequential Evaluation Techniques Comparison in Online Experiments

Bc. Michal Humaj

Master's thesis

Anotácia:

A / B testovanie je výborná metóda na zlepšenie kľúčových metrík webových stránok. V práci prezentujeme prehľad literatúry zameranej na štatistické metódy použité pri A/B testovaní . Niektorí autori uprednostňujú bayesianské paradigmu, iní frekventistické. Nie je medzi bayesiánmi ani konsenzus o tom, do akej miery je dôležité prvotné rozdelenie a či sa dá objektívne naučiť. Autori sa však zhodujú v tom, že v on-line prostredí je potrebné umožniť experimentátorom nepretržite monitorovať ich A / B testy s možnosťou skorého ukončenia. Simuláciou dokazujeme, že z-test s pevným horizontom, ktorý sa používa aj v platforme Kentico na vyhodnotenie testov A / B, prináša zvýšený počet falošne pozitívnych testov. Potom porovnávame štyri rôzne štatistické metódy spustením testov na generovaných a reálnych dátach a navrhujeme dva z nich na implementáciu v platforme Kentico.

Abstract:

A/B testing is a powerful method for improving website performance. We present overview of the literature focused on statistical methods used in A/B testing. Some authors prefer bayesian paradigm, others frequentist. Amongst bayesians, there is also no consensus to what extent is the prior distribution important and whether it can be objectively learnt. However, authors agree that in an online environment it is necessary to allow experimenters continuously monitor their A/B tests. We conduct experiment to prove that fixed horizon z-test, used also in Kentico platform for evaluation of A/B tests, yields increased number of false positive test results. We then compare four different statistical methods by running tests on simmulated and real-world data and suggest two of them for implementation in Kentico platform.

Keywords

a/b testing, online experiments, sequential tests, statistical significance, hypothesis testing

Jazyk práce: English

Datum vytvoření / odevzdání či podání práce: 21. 5. 2018

Obhajoba závěrečné práce

• Obhajoba proběhla 21. 6. 2018
• Vedúci: PhD Bruno Rossi
• Oponent: Mgr. David Komárek

Masaryk University

Faculty of Informatics

Master programme / odbor:
Applied Informatics / Service Science, Management and Engineering