A/Bテストとは？ — 無料ツール
A/Bテストは、ちょうど1つの要素だけが違う2つのバージョンを競わせて結果を比べる方法です。なぜその1変数がすべてなのか、勝者に意味を持たせるにはどれだけの件数が要るのか、そして自信を持って間違えるための典型的な落とし穴を解説します。
見出し・画像・CTAなど1要素だけを変えた2案を配信し、結果を比べる検証です。2つ以上を同時に変えると、なぜ勝ったのか説明できなくなります。
これは何か
A/Bテスト（スプリットテスト）は、同じ投稿や広告の2つのバージョンを競わせて結果を比べる方法です。バージョンAはたいてい、どのみち出していたはずのもの。バージョンBはちょうど1つだけを変えます。目的はより良い投稿を見つけることではなく、どの要素が数値を動かしたのかを知ることです。そうしてはじめて、学びがこの1本の投稿を超えて残ります。
どう測るか
指標は事前に決めます。あとからではありません。リンク投稿ならクリック率、広告ならコンバージョン率、動画なら完視聴率です。そのうえで、差に意味を持たせるだけの件数が必要になります。本当の差とノイズを分けるのが有意差の計算で、2つのバージョンの差が小さいほど、それを見分けるのに多くの件数が要ります。
よくある誤解
いちばん多い失敗は、2つの変数を変えてしまうことではなく、早く止めてしまうことです。テストの序盤では2つのバージョンが何度も入れ替わるので、見ていて一方が前に出た瞬間に止めれば、ほぼ必ず「勝者」が見つかります。まったく同じ2本を比べていてもです。2つめの失敗は、小さすぎるものを試すこと。絵文字を1つ変えても、現実的に集められるどんなサンプル数でもノイズを超えません。つまり1週間を使って何も返ってこない。句読点を試す前に、オファーやフック、フォーマットを試してください。
どんなときに重要か
最も意味があるのはお金を使っている場面です。そこでは2ポイントの差が積み上がります。オーガニックでの誠実な使い道はもっと狭くなります。オーディエンスと時間帯を一定に保てないからです。オーガニックの比較は仮説の材料として扱い、決着は有料のテストに任せてください。
機能
- 定義を平易に。1変数ルールの理由まで明記
- 数値の差が、そのままバージョンの差ではない理由
- テストをどれだけ回すか、最初のリードで止めるのが古典的な失敗である理由
- オーガニックで正直に検証できること、できないこと（有料との比較）
- 目分量ではなく確認できるよう、有意差計算ツールへのリンク
よくある質問
一度に変えてよい変数はいくつですか。
1つです。好みの問題ではなく、結果を説明可能にするための条件です。勝ったほうが見出しも画像も新しければ、テストが教えてくれるのは「その組み合わせが勝った」ことだけで、どちらが効いたのかは何もわかりません。
テストはどれくらい回すべきですか。
数件の結果で入れ替わらない程度のサンプルが集まるまで、そして通常の週次の波を最低1周ぶんです。火曜から木曜のテストが測っているのは火曜から木曜であって、あなたのオーディエンスではありません。
いつ勝者と判断してよいですか。
差がノイズより大きくなったときで、それを教えてくれるのが有意差の計算です。片方が前に出た瞬間に止めるのは、自信を持って間違える最も一般的な方法です。序盤のリードは絶えずひっくり返ります。
オーガニック投稿でA/Bテストはできますか。
おおまかにしかできません。同じ条件で同じオーディエンスに2つを見せられないため、オーガニックの比較には時間帯・曜日・アルゴリズムが一緒についてきます。手がかりとして扱い、本当のテストは有料に回してください。
差が出なかった場合は。
それも結果で、しかも役に立つ結果です。変えた要素はこの投稿の頭打ちの原因ではない、ということなので、次のテストは同じものの小さな変形ではなく別の要素に移すべきです。
