全体では勝っているのに部分では全負け——シンプソンのパラドックス

全体集計だけを信じてよいか

「A病院よりB病院の回復率が高い」というレポートを受け取ったとします。直感的には「B病院を選ぶべき」と判断するでしょう。しかし、患者を軽症・重症に分けて同じデータを見直すと、どちらの重症度グループでもA病院のほうが回復率が高い——そんな逆転が起こりえます。

これがシンプソンのパラドックス（Simpson's Paradox）です。1951年に統計学者エドワード・H・シンプソンが論文で整理した現象で、集計の粒度（層）を変えるだけで結論の優劣が入れ替わるという、直感に反したパラドックスです。

架空のデータで確認してみましょう。

シンプソンのパラドックス：軽症・重症・合計別の回復率比較表

軽症・重症それぞれで見ると、A病院が常に高い回復率を示しています。ところが全患者を合計すると、B病院が上回っています。

なぜこうなるのでしょうか。

鍵は患者構成の偏りにあります。

重症患者はそもそも回復しにくいため、A病院は「母数が重症患者ばかり」という不利な条件下で戦っています。一方B病院は回復しやすい軽症患者が多数を占めるため、合計の回復率を押し上げています。

この「患者の重症度」のように、説明変数（病院の選択）と目的変数（回復率）の両方に影響を与える隠れた変数を交絡変数（confounding variable）と呼びます。交絡変数を無視して全体を合算すると、比率の比較が歪んでしまいます。

数式で表すと、P(B > A) が全体では成り立っていても、各層 s では P(B > A | S=s) が成り立たないことがある、という状況です。

シンプソンのパラドックス：グループ別棒グラフ（部分と合計で順位が逆転）

シンプソンのパラドックスはビジネス分析でも頻繁に潜んでいます。

コンバージョン率の比較：新旧のランディングページAとBでA/Bテストをしたとします。全体ではBのCVRが高いのに、PC・スマートフォンそれぞれで集計するとAが高いという結果になることがあります。スマートフォン比率がBのほうが高く、かつモバイルのCVRが全体的に低い場合にこの逆転が生じます。

営業チームの成約率：ベテランチームと新人チームを比較すると、全体成約率ではベテランが上でも、「大企業案件」「中小企業案件」に分けると新人チームのほうが高い、という状況があります。ベテランが難易度の高い大企業案件を多く担当しているためです。

商品の返品率：複数カテゴリで商品を販売する場合、カテゴリ別では自社ブランドの返品率が競合より低いのに、全体集計では高くなることがあります。返品率が高いカテゴリの商品を自社ブランドが多く扱っているときに起きます。

いずれも、集計母数の構成比が群間で異なることが原因です。

シンプソンのパラドックスへの対処法は明確です。

層別分析（stratified analysis）を行うことが第一歩です。比較する前に「何が交絡変数になりうるか」を問い、その変数でデータを分割してから各層を比較します。上記の例では「重症度」「デバイス種別」「案件規模」が交絡変数であり、それらで層に分けることで正確な比較ができます。

交絡変数が複数ある場合は、回帰分析や傾向スコアマッチングを用いて明示的に制御する方法も有効です。観察データから因果関係を推定しようとするとき、これらの手法は欠かせません。

また、データを見る前に「どのサブグループが存在するか」「グループ間で母数の構成が均等か」を確認する習慣をもつことも重要です。特に自分にとって都合のよい結果が出たときほど、「この集計に交絡変数が潜んでいないか」と疑う姿勢が必要です。

シンプソンのパラドックスから得られる教訓をまとめます。

「データは嘘をつかない」と言われますが、集計の仕方が嘘をつくことはあります。分析の前に「どう集計したのか」を問うことが、データリテラシーの出発点です。