Theses 

Bayesian and Sequential Evaluation Techniques Comparison in Online Experiments – Bc. Michal Humaj

česky | in English | slovensky

Agenda:
Změnit agendu. Adresa v ISu:

Zpět na vyhledávání

Masarykova univerzita

Fakulta informatiky

Magisterský studijní program / obor:
Aplikovaná informatika / Služby - výzkum, řízení a inovace

Práce na příbuzné téma

Zobrazit popisek
  • Žádné práce na příbuzné téma.

Bc. Michal Humaj

Diplomová práce

Bayesian and Sequential Evaluation Techniques Comparison in Online Experiments

Bayesian and Sequential Evaluation Techniques Comparison in Online Experiments

Anotace: A / B testovanie je výborná metóda na zlepšenie kľúčových metrík webových stránok. V práci prezentujeme prehľad literatúry zameranej na štatistické metódy použité pri A/B testovaní . Niektorí autori uprednostňujú bayesianské paradigmu, iní frekventistické. Nie je medzi bayesiánmi ani konsenzus o tom, do akej miery je dôležité prvotné rozdelenie a či sa dá objektívne naučiť. Autori sa však zhodujú v tom, že v on-line prostredí je potrebné umožniť experimentátorom nepretržite monitorovať ich A / B testy s možnosťou skorého ukončenia. Simuláciou dokazujeme, že z-test s pevným horizontom, ktorý sa používa aj v platforme Kentico na vyhodnotenie testov A / B, prináša zvýšený počet falošne pozitívnych testov. Potom porovnávame štyri rôzne štatistické metódy spustením testov na generovaných a reálnych dátach a navrhujeme dva z nich na implementáciu v platforme Kentico.

Abstract: A/B testing is a powerful method for improving website performance. We present overview of the literature focused on statistical methods used in A/B testing. Some authors prefer bayesian paradigm, others frequentist. Amongst bayesians, there is also no consensus to what extent is the prior distribution important and whether it can be objectively learnt. However, authors agree that in an online environment it is necessary to allow experimenters continuously monitor their A/B tests. We conduct experiment to prove that fixed horizon z-test, used also in Kentico platform for evaluation of A/B tests, yields increased number of false positive test results. We then compare four different statistical methods by running tests on simmulated and real-world data and suggest two of them for implementation in Kentico platform.

Keywords: a/b testing, online experiments, sequential tests, statistical significance, hypothesis testing

Jazyk práce: angličtina

Obhajoba závěrečné práce

  • Obhajoba proběhla 21. 6. 2018
  • Vedoucí: PhD Bruno Rossi
  • Oponent: Mgr. David Komárek

Citační záznam

Citace dle ISO 690: LaTeX | HTML | text | BibTeX | Wikipedie

Plný text práce

Obsah online archivu závěrečné práce
Zveřejněno v Theses:
  • světu
Složka Odkaz na adresář do lokálního úložiště instituce
Jak jinak získat přístup k textu

Instituce archivující a zpřístupňující práci: Masarykova univerzita, Fakulta informatiky


Nahoru | Aktuální datum a čas: 18. 2. 2019 03:50, 8. (sudý) týden

Soukromí

Kontakty: theses(zavináč/atsign)fi(tečka/dot)muni(tečka/dot)cz