「3日で2pt上昇、効果あり！」は本当か
LPの改善施策をA/Bテストで検証した。3日後、施策Aのコンバージョン率は3.2%、施策Bは1.2%。「2ポイント上昇、施策Aを採用しよう」——この判断、正しいでしょうか。
結論から言えば、サンプルが少ない状態でこの判断をするのは危険です。「差がある」という観察が偶然の産物である可能性を、私たちは思いのほか過小評価しています。
偽陽性（第一種過誤）——効果がないのに「ある」と判断
偽陽性とは、真実は「効果なし」なのに統計検定が「有意差あり」を返すことです。第一種過誤とも呼ばれ、その発生確率を \alpha（有意水準）で制御します。
よく使われる \alpha = 0.05 は「効果がゼロだったとしても、5%の確率でこの検定は偽陽性を出す」ことを意味します。
裏を返せば、20回テストすれば1回は偶然「有意」になる計算です。施策を何度も試しては「効果なし」を捨てて「効果あり」だけを残すと、偽陽性を積み上げていることになります。これが多重比較の問題です。
偽陰性（第二種過誤）——効果があるのに「ない」と判断
偽陰性は逆のケースです。真実は「効果あり」なのに、検定が「有意差なし」を返してしまう。その発生確率を \beta と呼び、1 - \beta が**検出力（Power）**です。
検出力は「本当に効果があるとき、それを正しく検出できる確率」を意味します。標準的な設計では 1 - \beta = 0.8（80%）が目安とされます。
検出力が低い状態でテストを打ち切ると、「効果がなかった」と誤って結論を出すリスクが高まります。コストが高い施策を諦めるべきか判断するとき、偽陰性の見落としは大きな機会損失につながります。
サンプルが少ないと信頼区間が爆発する
同じ「+2ポイント」という点推定値でも、サンプル数によって信頼区間の幅はまったく異なります。
具体的な数値で見てみましょう。コンバージョン率の差が +2% だったとします。
| サンプル数（各群） | 95% 信頼区間の幅の目安 | 0をまたぐか |
|---|---|---|
| 各 100 件 | −2% 〜 +6% | またぐ（有意差なし） |
| 各 1,000 件 | +0.5% 〜 +3.5% | またがない（有意差あり） |
| 各 10,000 件 | +1.5% 〜 +2.5% | またがない（高精度） |
冒頭の例（3日で2pt上昇）は、一般的なECサイトのランディングページであれば各群100件に満たないケースも珍しくありません。信頼区間が -2\% \sim +6\% であれば、「効果なし（差=0）」もその区間に含まれているため、統計的に有意とは言えないのです。
信頼区間の幅は標準誤差に比例し、標準誤差はサンプル数 n の平方根に反比例します。つまり精度を2倍にするには4倍のサンプルが必要という関係があります。
SE = \sqrt{\frac{p(1-p)}{n}}
点推定だけを見るな——区間で判断する
「施策Aが+2pt高かった」という点推定は、信頼区間の中心にすぎません。判断に必要なのはその区間全体です。
- 区間が 0 \sim 5\% の場合：「効果があるかもしれないが、ほぼゼロの可能性もある」
- 区間が 1\% \sim 3\% の場合：「少なくとも1%以上の改善が見込める」
- 区間が -1\% \sim 5\% の場合：「悪化の可能性すら捨てきれない」
ビジネス的に意味のある最小の効果量（MDE: Minimum Detectable Effect）を事前に決め、その MDE を確実に検出できるサンプルサイズを計算してからテストを始めることが大切です。
ビジネスでの対策
1. 事前にサンプルサイズを計算する
\alpha = 0.05、検出力 = 0.8、MDE = 1% なら必要サンプル数は数千件以上になります。オンラインのサンプルサイズ計算ツールで事前に確認してください。
2. 早期打ち切りをしない
「いい数字が出たから今すぐ打ち切り」は偽陽性を大量に生みます。あらかじめ決めた期間・サンプル数に達してから結果を見ましょう。途中経過を何度も確認する行為自体が \alpha を膨らませます。
3. 多重比較を補正する
複数の指標や複数の施策を同時に検定する場合は、Bonferroni 補正やBenjamini-Hochberg 法を用いて有意水準を調整します。10個の指標を同時に検定するなら \alpha を 0.05 / 10 = 0.005 に絞るのが基本です。
4. 片側検定を乱用しない
「施策Aの方が高い」という方向を事前に決めて片側検定を使うと有意になりやすくなりますが、悪化の見落としにつながります。事前に仮説がない場合は両側検定を原則とします。
まとめ——判断のチェックリスト
A/Bテストの結果を見るとき、以下を確認してください。
- サンプル数は十分か？ — テスト開始前にサンプルサイズ計算を済ませたか
- 信頼区間は 0 をまたいでいないか？ — 点推定だけでなく区間を見る
- 早期打ち切りをしていないか？ — 決めた期間まで待ったか
- 何回テストしたか？ — 多重比較の補正を適用しているか
- MDE を設定したか？ — ビジネス的に意味のある最小効果量を事前に定義したか
「率が高い方を採用する」という判断の前に、その差が偶然でない根拠を示せるかを問い直す習慣が、データドリブンな意思決定の第一歩です。