A/B 测试显著性计算器 — 免费工具

它只说明一件很窄的事：如果两个版本表现完全相同，出现这么大差异的概率有多低。p 值小于 0.05 意味着这样的差异仅靠随机很难出现。它并不能说明差异在商业上足够重要、下个月依然成立、是版本 B 造成了差异，或者你可以停止测试 — 这些判断仍然要由你来做。

因为用寥寥几次事件算出的 p 值只是披着结果外衣的噪声。如果任一组的展示量不足 100 次或转化不足 5 次，检验功效太低，说明不了任何问题，所以计算器会直说，而不是给出一个会被拿去做决策的数字。

基于合并比例的双尾双比例 z 检验，这是比较两个转化率的标准做法。p 值来自正态分布近似，在本工具允许给出结论的样本量下足够精确。

这是惯例，不是定律。95% 意味着你接受大约二十分之一的概率把非胜出版本判为胜出。如果改动成本低且可回退，用更弱的证据行动也可以；如果代价很大，就等更多数据或采用更严格的门槛。

不会。所有计算都在你的浏览器中完成，不上传、不存储、不记录，也无需注册账号。