A/B-test-significantiecalculator — Gratis Tool
Controleer of de winnaar van je A/B-test echt is. Vul impressies en conversies van beide varianten in en zie elke conversieratio, de relatieve stijging, de p-waarde en een oordeel in gewone taal.
Variant A (controle)
Variant B (uitdager)
Functies
- Conversieratio van elke variant, naast elkaar
- Relatieve stijging — hoeveel de uitdager de controle verslaat
- Tweezijdige p-waarde uit een z-toets voor twee proporties
- Wijst geen winnaar aan onder 100 impressies of 5 conversies per variant
- Draait volledig in je browser — er wordt niets geüpload
Veelgestelde vragen
Wat zegt statistische significantie eigenlijk?
Eén nauw omschreven ding: hoe waarschijnlijk een verschil van deze omvang zou zijn als beide varianten even goed presteerden. Een p-waarde onder 0,05 betekent dat zo'n verschil door louter toeval ongebruikelijk zou zijn. Het zegt NIET dat het verschil commercieel groot genoeg is, dat het volgende maand nog geldt, dat variant B de oorzaak was, of dat je de test kunt stoppen — dat blijven jouw afwegingen.
Waarom staat er soms 'te weinig data' in plaats van een oordeel?
Omdat een p-waarde uit een handvol gebeurtenissen ruis is die zich voordoet als resultaat. Heeft een variant minder dan 100 impressies of minder dan 5 conversies, dan is de toets te zwak om iets te zeggen — de calculator zegt dat dan, in plaats van een getal te tonen waar mensen naar zouden handelen.
Welke toets wordt gebruikt?
Een tweezijdige z-toets voor twee proporties op de gepoolde proportie — de standaardcheck om twee conversieratio's te vergelijken. De p-waarde komt uit een normale benadering, die nauwkeurig is bij de steekproefgroottes waarbij het hulpmiddel een oordeel toestaat.
Is 95% betrouwbaarheid de juiste drempel?
Het is de conventie, geen wet. 95% betekent dat je ongeveer 1 kans op 20 accepteert om een winnaar aan te wijzen die het niet is. Is de wijziging goedkoop en omkeerbaar, dan kun je op zwakker bewijs handelen; is die duur, wacht dan op meer data of hanteer een strengere drempel.
Worden mijn gegevens ergens naartoe gestuurd?
Nee. Alle berekeningen gebeuren in je browser. Er wordt niets geüpload, opgeslagen of gelogd, en een account is niet nodig.
