A/Bテスト有意差計算ツール — 無料ツール

教えてくれるのは一点だけです。2つのパターンの実力が同じだと仮定したとき、これほどの差が生じる確率がどれくらいか、ということです。p値が0.05未満なら、その差は偶然だけでは起こりにくいという意味になります。差がビジネス上十分に大きいこと、来月も同じ結果になること、パターンBが原因であること、テストを止めてよいことは示しません。それらの判断は依然としてあなたの仕事です。

ごく少数のイベントから計算したp値は、結果の体裁をまとったノイズにすぎないからです。どちらかのパターンが100表示未満、またはコンバージョン5件未満の場合、検定力が低すぎて何も言えないため、行動の根拠にされてしまう数値を出す代わりにその旨を表示します。

プールした比率に対する両側の2標本z検定で、2つのコンバージョン率を比較する標準的な手法です。p値は正規分布近似から求めており、本ツールが判定を出す標本サイズでは十分な精度があります。

慣例であって法則ではありません。95%とは、勝者でないものを勝者と呼ぶ確率をおよそ20回に1回受け入れるという意味です。変更が安価で元に戻せるなら弱い根拠でも動けますし、コストが大きいならデータを増やすか、より厳しい基準を使ってください。

いいえ。計算はすべてブラウザ内で行われます。アップロード・保存・記録は一切なく、アカウントも不要です。