先月から有料広告の出稿を絞ったら、全体のコンバージョン率はむしろ上がった――そんな報告を受けると単純に喜びたくなりますが、チャネルごとの数字を見るとどの経路のCVRも実は下がっていた、ということが実務では珍しくありません。
集計の仕方ひとつで、同じデータから正反対の結論が導けてしまう。これはシンプソンのパラドックスと呼ばれる現象です。
統計学の教科書に出てくる古典的な話に聞こえるかもしれませんが、ファネル分析やA/Bテスト、コホート比較といった日々の意思決定の中に驚くほど頻繁に紛れ込んでいます。この記事では、シンプソンのパラドックスがどんな仕組みで起きるのかを、実際に記録が残っている二つの事例をもとに整理したうえで、ウェブ解析やプロダクト運営の現場でどう見抜き、どう防ぐかを具体的な手順に落とし込みます。
新しいキャンペーンや機能をリリースした直後は、良いニュースも悪いニュースも全体の数字からまず読み取ろうとしてしまいがちです。焦って結論を出す前にこの現象の存在を知っておくだけでも、判断を誤るリスクはかなり減らせます。
プロダクトマネージャーやRevOpsの担当者にとって厄介なのは、この逆転が起きても計算やダッシュボードの実装自体は何も間違っていないという点です。数字を疑う前に、まずどんな内訳が背後にあるのかを疑う視点が必要になります。
とくに複数のチームが同じダッシュボードを見て意思決定をする組織ほど、全体の一つの数字を根拠に方向転換の議論が始まりやすく、後から内訳を確認したときにはすでに施策が動き出している、ということも起こりえます。
シンプソンのパラドックスとは何か
シンプソンのパラドックスとは、データをグループごとに分けて見たときの傾向と、それらを合算して見たときの傾向が逆転してしまう現象を指します。統計学者のエドワード・シンプソンが1951年に発表した論文で定式化したことからこの名前が付いていますが、現象自体はそれ以前から知られていました。
平均が嘘をついているわけではない
厳密には、この現象はデータや計算が間違っているわけではありません。全体の平均もグループごとの平均も、それぞれ正しく計算された数字です。
問題は、複数のグループを一つの数字にまとめる際に、グループの大きさの比率が変わってしまうと、まとめ方によって結論が変わりうるという点にあります。
隠れたもう一つの変数
言い換えると、ある指標を施策の有無と結果という二つの変数だけで語ろうとすると、実は結果に大きく影響する三つ目の変数――交絡変数――が隠れていて、その分布がグループ間で偏っている場合にこの逆転は起こります。次の章では、この構造が実際にどう現れたかを、記録が残る二つの事例で確認します。
簡単な数値でメカニズムを確認する
以下は仕組みを理解するための説明用の仮の数値です。あるサービスに、成約率20%の見込み客グループAと、成約率5%の見込み客グループBがあるとします。
ある月はAが90件、Bが10件で、全体の成約率は約18.5%（0.9×20%＋0.1×5%）でした。翌月はAの成約率が22%、Bの成約率が6%とどちらも改善したのに、問い合わせの内訳がAが30件、Bが70件に変わったとすると、全体の成約率は約10.8%（0.3×22%＋0.7×6%）まで下がってしまいます。
グループごとの成約率はどちらも上がっているのに、全体の数字だけを見ると大きく下がったように見えるのです。原因は成約率の変化そのものではなく、成約率の低いグループBの比重が急に増えたという構成比の変化にあります。
実例で見る逆転現象
抽象的な説明だけでは実感が湧きにくいので、統計学の教材で繰り返し取り上げられてきた二つの古典的な事例を見てみます。
1973年、大学院入試に見えた性別による差
1973年秋、米カリフォルニア大学バークレー校の大学院入試で、男性志願者8442人のうち44%が合格した一方、女性志願者4351人の合格率は35%にとどまりました。この差だけを見ると性別による選考差別が疑われ、実際に大学は提訴されています。
ところが学部・学科ごとに合格率を調べ直すと、ほとんどの学科で女性の合格率は男性と同等か、むしろ高いことがわかりました。理由は、女性志願者が倍率の高い人気学科に集中して出願する傾向があり、倍率の低い学科に多く出願していた男性より全体の合格率が押し下げられていたことにあります。
学科という交絡変数を無視して大学全体で数字を合算したことが、見かけ上の差別を作り出していたことになります。
1986年、治療法の優劣が逆転した臨床研究
もう一つは医療分野の例です。1986年に英国の医学誌に掲載された研究では、腎臓結石の治療法として開腹手術（治療A）と、体に負担の少ない経皮的な低侵襲手術（治療B）の成功率が比較されました。
全体で見ると治療Aの成功率は78%、治療Bは83%で、治療Bの方が優れているように見えます。しかし結石の大きさ別に分けて見ると、小さい結石でも大きい結石でも、成功率が高いのは治療Aの方でした。
次の表は、この研究で報告された数字の構造を単純化して示したものです。
| 治療法 | 小さい結石 | 大きい結石 | 全体 |
|---|---|---|---|
| 治療A（開腹手術） | 93% | 73% | 78% |
| 治療B（低侵襲手術） | 87% | 69% | 83% |
原因は、負担の大きい結石を抱えた患者に治療Aが多く割り当てられ、負担の軽い結石の患者に治療Bが多く割り当てられていたことです。結石の大きさという交絡変数の割り振りが治療群のあいだで偏っていたために、個別の数字と全体の数字が逆転しました。
二つの事例は分野もデータの性質もまったく異なりますが、構造は同じです。比較したい二つの群のあいだで、結果に影響する別の変数の分布が偏っていて、それを無視して合算すると結論が入れ替わってしまうという点です。
なぜ逆転が起きるのか
二つの事例に共通しているのは、比較したい二つのグループ――性別、治療法――のあいだで、隠れた第三の変数――学科、結石の大きさ――の構成比が大きく異なっていたという点です。
交絡変数という共通の原因
この隠れた変数を交絡変数と呼びます。交絡変数は、比較しているグループの割り振りにも、結果そのものにも同時に影響を与える変数です。
腎結石の例で言えば、結石の大きさは治療法の選択にも、治療の成功率そのものにも影響します。交絡変数の分布が群ごとに偏っているのに、それを無視して全体だけを比較すると、原因と結果を取り違えてしまいます。インクリメンタリティテストとは？｜広告の因果効果をホールドアウトで測る考え方で扱った、相関と因果を混同しないための実験設計も、根っこにあるのはこの交絡変数への警戒です。
失敗した対象がそもそもデータに残らないことで結論が歪む生存者バイアスと混同されることもありますが、原因は別です。シンプソンのパラドックスはデータが欠けているのではなく、正しく記録されたデータを誤った粒度で合算していることが原因になります。
構成比の変化が引き金になる
時系列で比較する場合は、群そのものの数字が変わっていなくても、群の構成比の変化が引き金になることが多いとも言えます。ある月から別の月にかけて全体の数字を構成するグループの重み付けが変わると、各グループの数字が改善していても、全体の数字は逆に動くことがあります。
次の章では、この時系列パターンをウェブ解析の実務に当てはめて確認します。
ウェブ解析やプロダクト運営で起きる典型パターン
ファネル分析やA/Bテストの数字を扱っていると、この逆転現象は決して珍しくありません。典型的なパターンを二つ紹介します。
チャネル別のCVRは全て改善したのに、全体のCVRは悪化する
以下は説明用に作った仮の数値ですが、構造はよく見られるものです。ある月に有料広告経由の訪問者数を絞り、自然検索経由の構成比を高めた場合を考えます。
| 流入チャネル | 施策前CVR | 施策後CVR | 構成比（施策前→施策後） |
|---|---|---|---|
| 有料広告 | 4.0% | 4.5% | 60%→20% |
| 自然検索 | 1.5% | 1.8% | 40%→80% |
どちらのチャネルもCVRは改善しています。それでも全体のCVRを計算すると、施策前は約2.9%（0.6×4.0%＋0.4×1.5%）だったのに対し、施策後は約2.3%（0.2×4.5%＋0.8×1.8%）まで下がります。
もともとCVRが高かった有料広告の比重が下がり、CVRが相対的に低い自然検索の比重が上がったことで、各チャネルの改善分を全体の数字の上で打ち消してしまったのです。全体のCVRだけを追いかけていると、この二つのチャネルがどちらも改善しているという良い兆しを見落としてしまいます。
コンバージョン率（CVR）を上げる7つの視点で触れたように、CVR改善はチャネルや流入経路を分けて検証することが前提になります。
世代（コホート）別では改善しているのに、全体の継続率は下がって見える
もう一つのパターンは、新規ユーザーの獲得数が急に増えているサービスでよく起きます。新規ユーザーの絶対数が急増すると、全体の継続率の中で登録してまだ日が浅く継続率がまだ低いユーザーの比重が一時的に高まります。
既存の各コホートの継続率がそれぞれ改善し続けていても、全体の継続率という一つの数字は下がって見えることがあるのです。コホート分析とは？｜世代ごとの継続率で「本当の成長」を読み解くで解説した通り、こうした場面では全体の平均ではなく、登録時期ごとのコホートを横に並べて比較する必要があります。
この二つのパターンに共通するのは、日次や月次のレポートで真っ先に目に入るのが常に全体の数字だという点です。ダッシュボードの一番上に表示される大きな数字ほど、内訳の変化によって静かに歪められている可能性があることを覚えておく価値があります。
料金プランを複数持つSaaSでも同じ構造は起こり得ます。安価なプランの契約者が急増する時期は、各プランごとの単価やアップグレード率が改善していても、全体の平均単価だけを見ると悪化しているように映ることがあるからです。
逆転を見抜くための実務チェックリスト
ここまでの構造を踏まえると、日々の分析でシンプソンのパラドックスに足をすくわれないための着眼点が見えてきます。次の四点は、特別な統計の知識がなくても、ダッシュボードを見るときにそのまま使えるはずです。
- 全体の数字が動いたら、まず内訳（チャネル・セグメント・コホートなど）に分解してから、同じ方向に動いているかを確認する
- 比較する二つの期間や群のあいだで、構成比（トラフィックミックス、ユーザー構成など）が変わっていないかを確認する
- 施策の前後や群分けと相関しそうな第三の変数（デバイス、流入経路、契約プランなど）に心当たりがあれば、それで層別してから比較する
- 全体で改善した、あるいは悪化したという見出しだけで意思決定しそうになったときほど、いったん立ち止まって分解する
とくに人数が少ない群やキャンペーンの初期段階の数字は、母数が小さいぶん構成比がぶれやすく、逆転が起きやすいタイミングでもあります。判断を急ぐ場面ほど、いったん内訳を確認する一手間を惜しまないことが結果的に近道になります。
こうした確認は一度きりで終わらせず、定例のレビューに組み込んでおくと効果が続きます。指標の定義や集計範囲を変えたタイミング、大きな施策を打った直後は、とくに構成比の変化が起きやすい局面だと覚えておくとよいでしょう。
この確認は特別な統計ソフトがなくても、ダッシュボードでセグメントを切り替えるだけで多くの場合は再現できます。同じ指標なのに数字が違って見える問題も、突き詰めれば対象範囲や集計粒度という交絡変数の扱いの違いに行き着くことが少なくありません。
MonaLensで確かめるなら
MonaLensでは、ファネル分析やコホート分析、そして一人の訪問者の行動を時系列で追うN1分析を通じて、全体の数字を流入経路やセグメント単位まで分解して見ることができます。全体のCVRが動いたときに、それが本当に全チャネル共通の変化なのか、それとも構成比の変化による見かけ上の動きなのかを、同じ画面の中で確認できるようにしています。
たとえば流入元別のCVRやコホート別の継続率をそれぞれ確認したうえで全体の数字と見比べるという一手間だけでも、構成比の変化による見かけ上の逆転にはかなりの確率で気づけます。
とはいえこれはMonaLensに限った話ではありません。どんな解析ツールを使っていても、合算する前に分解して確認するという手順そのものが欠かせないという点は変わらないはずです。特別な統計知識やツールがなくても、内訳を見る習慣さえあれば、逆転の多くは事前に察知できます。
まとめ：合算する前に、分解してから見る
シンプソンのパラドックスは、統計の知識がある人だけが陥る特殊な罠ではありません。むしろ日々のレポーティングで全体の数字を真っ先に見る習慣を持つ人ほど、遭遇しやすい罠だとも言えます。
グッドハートの法則とは？｜「測ると壊れる指標」の正体と、壊れにくい指標の設計で見た、指標を目標にした瞬間に指標が意味を失うという話と同じように、この現象もまた一つの数字を鵜呑みにする危うさを教えてくれます。
全体の数字が動いたときほど、まず分解する。構成比が変わっていないかを疑う。この二つを習慣にするだけで、多くの見かけ上の逆転は防げるはずです。
チームで数字を報告し合う場面では、「全体では何%でした」で終わらせず、「内訳ではどうでしたか」と一言添える文化を作ることが、地味ながら一番効果のある対策になります。
次にダッシュボードで数字の改善や悪化を目にしたら、その裏にどんな内訳が隠れているか、一度確認してみてください。