差分の差分法（DiD）とは？｜A/Bテストができない施策の効果を、比べる相手を用意して測る

新しい料金ページを公開した翌月、コンバージョン率が上がっていた。チームは喜びましたが、同じ月に競合が値上げをしていて、季節的な繁忙期も重なっていました。

この上昇のうち、どこまでが料金ページの手柄なのでしょうか。A/Bテストを回せなかった施策について、この問いに答えるための代表的な道具が差分の差分法です。

この記事では、差分の差分法の考え方と計算方法、成り立つための前提条件、プロダクトやマーケティングの現場で使うときの落とし穴までを、数式をできるだけ使わずに順を追って解説します。

差分の差分法（DiD）とは？

差分の差分法は、英語でDifference-in-Differencesと呼ばれ、頭文字をとってDiDと略されます。施策を受けたグループと受けなかったグループのそれぞれで前後の変化を測り、その変化どうしの差を施策の効果とみなす分析手法です。

二つの差を重ねる理由

一つ目の差は、同じグループの施策前と施策後の差です。これだけだと、季節や景気、競合の動きのように、施策と無関係に起きた変化まで効果に含まれてしまいます。

そこで、施策を受けなかったグループの前後差をもう一つ測ります。施策がなくても起きていたはずの変化を、こちらのグループに語ってもらうわけです。

最後に、施策を受けたグループの変化から、受けなかったグループの変化を引きます。二回引き算をするので、差分の差分と呼ばれます。

経済学で育った因果推論の手法

この考え方の原型としてよく紹介されるのが、19世紀のロンドンで行われたコレラの調査です。給水会社ごとの死亡状況を時期をまたいで比べ、汚染された水と感染の関係に迫ろうとしたものでした。

現代の代表例は、経済学者のデビッド・カードとアラン・クルーガーが1994年に発表した最低賃金の研究です。1992年4月にニュージャージー州が最低賃金を時給4.25ドルから5.05ドルへ引き上げた際、隣のペンシルベニア州東部のファストフード店を比較対象にして、引き上げ前後の雇用の変化を比べました。

この研究は、最低賃金を上げると雇用が必ず減るという当時の通説に疑問を投げかけ、大きな論争を呼びました。

カードは2021年、労働経済学への実証的な貢献によりノーベル経済学賞を受賞しました。この年の賞は、自然実験から因果関係を読み解く研究に光を当てたものでした。

自然実験とは、研究者が意図して割り付けたわけではないのに、制度変更などによって偶然できた比較の機会のことです。A/Bテストのように自分で割り付けられない場面で、因果関係に迫るための考え方だと言えます。

なぜ前後比較だけでは効果を測れないのか

プロダクトの現場でいちばんよく見る効果測定は、施策の前と後の数字を並べるだけの比較です。手軽ですが、ここには見落としやすい罠があります。

前後比較に紛れ込むもの

施策の前後で変わるのは、施策だけではありません。季節性、広告予算の増減、検索アルゴリズムの更新、競合のキャンペーンなど、外部の変化はいつも同時に起きています。

さらに厄介なのが、数字が悪かったから施策を打った、という状況です。極端に悪い月の翌月は、何もしなくても数字が戻りやすいことが知られています。

この現象は平均への回帰（Regression to the Mean）とは？｜好調も不調も、ただ「戻る」だけかもしれないという警戒信号で詳しく扱っています。

単純な群間比較に紛れ込むもの

では、施策を受けたグループと受けなかったグループを、施策後の時点だけで比べればよいのでしょうか。これも危うい方法です。

たとえば日本向けサイトだけで施策を打ったなら、日本と他地域はもともと客層も単価も違います。施策後に差があっても、それが施策のせいなのか、元からあった差なのかを区別できません。

差分の差分法は、この二つの弱点を組み合わせて打ち消します。前後比較で残る時間の影響を対照群で引き、群間比較で残るもともとの差を前後差で引くという発想です。

代表的な手法の違いを、次の表で整理します。

計算方法を例で確かめる

考え方がわかったところで、実際に計算してみましょう。ここでは、料金ページの改修を日本向けサイトだけに先行公開し、他地域のサイトはそのまま据え置いたという場面を想定します。

4つの数字で計算する

差分の差分法に必要なのは、処置群と対照群それぞれの施策前と施策後、合わせて4つの数字です。以下の数値はすべて説明用の仮定です。

                    施策前（4週）   施策後（4週）   前後差
処置群（日本）        CVR 2.0%       CVR 2.6%      +0.6pt
対照群（他地域）      CVR 2.2%       CVR 2.5%      +0.3pt

差分の差分 = (+0.6pt) - (+0.3pt) = +0.3pt
→ 施策がなくても +0.3pt は伸びていた。施策の上乗せ分は +0.3pt と推定する

前後比較だけなら、効果は+0.6ポイントに見えます。ところが対照群も同じ期間に+0.3ポイント伸びているので、施策そのものの効果はその半分だと推定できます。

この差は意思決定に直結します。効果を倍に見積もったまま他の施策と優先順位を比べれば、投資の判断がまるごと歪んでしまうからです。

回帰分析で書くとどうなるか

実務では、同じ計算を回帰分析の形で行うことがよくあります。処置群かどうか、施策後かどうか、その二つの掛け合わせという3つの変数を入れたモデルを推定すると、掛け合わせの係数が差分の差分の推定値になります。

回帰の形にすると、曜日や流入元の構成といった他の変数を一緒に調整したり、信頼区間を出したりしやすくなります。とはいえ中身は上の4つの数字の引き算と同じなので、まずは表で手計算してみるのがおすすめです。

もう一つ決めておきたいのが、差をポイントで見るか、比率で見るかです。上の例は+0.3ポイントの上乗せですが、施策前のCVRを基準に比率で語ると印象が大きく変わるので、報告ではどちらの単位かを必ず明記しましょう。

指標の単位もそろえる必要があります。コンバージョンを数える単位がセッションなのかユーザーなのかが両群で違えば、引き算の意味そのものが崩れてしまいます。

平行トレンドの仮定という生命線

差分の差分法には、どうしても外せない前提が一つあります。それが平行トレンドの仮定です。

施策がなければ同じように動いていたか

平行トレンドの仮定とは、施策がなかったとしたら、処置群と対照群は同じ傾きで推移していたはずだ、という仮定です。両群の水準は違っていてかまいませんが、変化の幅はそろっている必要があります。

この仮定は、施策後の世界については原理的に確かめられません。施策を受けなかった処置群は、現実には存在しないからです。

施策前の推移を必ずグラフにする

確かめられないとはいえ、手がかりはあります。施策前の期間を週ごとに並べ、両群の線が平行に動いているかを目で確認するのが第一歩です。

施策前から両群の差が開いたり縮んだりしているなら、施策後の差もその流れの延長かもしれません。施策前の各週について、処置群と対照群の差を時系列で並べる分析はイベントスタディと呼ばれ、仮定の点検に広く使われています。

良い対照群の条件

では、どんなグループを対照群に選べばよいのでしょうか。実務では次のような条件を満たすかどうかで候補を絞り込みます。

• 施策の影響を受けていない（対象外のはずが実は施策を見ていた、がない）
• 施策前の推移が処置群とよく似ている
• 同じ外部要因（季節、景気、検索の変動）にさらされている
• 施策と同時期に、その群だけの別の変化が起きていない

一つ目の条件は見落とされがちです。たとえば日本で値下げをしたとき、他地域の顧客が日本向けページから申し込むようになれば、対照群の数字も施策の影響で動いてしまいます。

プロダクトとマーケティングでの使いどころ

差分の差分法は、経済学の論文だけの道具ではありません。A/Bテストを組めない施策が多いプロダクトやマーケティングの現場こそ、出番が多い手法です。

A/Bテストができない施策の評価

料金改定、地域限定のキャンペーン、テレビCMや屋外広告、法改正への対応などは、訪問者単位でランダムに割り付けるのが難しい施策の代表です。こうした施策では、地域や時期、プランの違いを手がかりに処置群と対照群をつくることになります。

広告の効果測定では、地域ごとに出稿を止めるホールドアウトの設計と組み合わせることもよくあります。地域を使った実験の考え方はインクリメンタリティテストとは？｜広告の因果効果をホールドアウトで測る考え方で解説しています。

段階的リリースを分析の機会に変える

新機能を一部のユーザーやプランから順に公開する段階的リリースも、差分の差分法と相性のよい場面です。先に公開された群と、まだ公開されていない群を比べられるからです。

段階公開の仕組みはフィーチャーフラグとは？｜デプロイとリリースを切り離し、段階公開と計測をつなぐ仕組みで紹介しています。公開の順番を決める時点で、あとで比べられるようにグループの記録を残しておくと、分析がぐっと楽になります。

RevOpsの文脈でも使いどころがあります。一部の営業チームだけに新しい商談プロセスを試験導入した場合、導入していないチームを対照群にすれば、全社的な市況の変化を差し引いて受注率の変化を評価できます。

施策前に決めておくこと

差分の差分法の信頼性は、分析を始める前の準備でほぼ決まります。施策を公開する前に、少なくとも次の点を書き出しておきましょう。

• 処置群と対照群の定義と、その対照群を選んだ理由
• 評価する指標（コンバージョンはセッション単位か、ユーザー単位か）
• 施策前と施策後の期間の長さ
• 同時期に予定されている他の施策やキャンペーン
• どれだけの差が出たら次の判断に進むか

結果を見てから対照群を選び直すと、都合のよい比較を探す作業になってしまいます。事前に決めて記録しておくこと自体が、分析の信頼性を支える仕組みです。

よくある失敗と、より新しい手法

差分の差分法は直感的でわかりやすい反面、使い方を誤ると、もっともらしい間違った数字を出してしまいます。現場で起きやすい失敗を見ておきましょう。

現場で起きやすい失敗

代表的な失敗と対処を次の表にまとめます。

最後の失敗は、集計の仕方で結論が逆転する現象と根が同じです。全体の数字だけで判断せず、内訳でも同じ傾向が出ているかを確かめる習慣が役に立ちます。

たとえば施策後に広告経由の新規訪問が急増していれば、CVRの変化には客層の入れ替わりが混ざっています。流入元や端末ごとに分けても同じ向きの差分が出るかを見ておくと、結論への自信が持てます。

公開時期がずれる場合の注意

近年の計量経済学では、施策の開始時期が群ごとにずれる場合の注意点が盛んに議論されてきました。2021年にJournal of Econometricsに掲載されたグッドマン＝ベーコンの論文などは、開始時期がずれる設定で従来の回帰を使うと、すでに施策を受けた群が対照群として紛れ込み、効果が時間とともに変わる状況では推定が歪みうることを示しています。

同じ年に同誌に掲載されたキャラウェイとサンタナの手法のように、まだ施策を受けていない群だけを比較相手にする推定方法も提案されています。段階的リリースを分析するときは、全期間をまとめて一つの回帰にかける前に、公開時期ごとに分けて比べるのが安全です。

対照群をつくるという発想

ちょうどよい対照群が見つからないときは、複数の候補を重みづけして合成する合成コントロール法という考え方があります。Googleの研究者らが開発し、2015年に論文として発表されたCausalImpactは、ベイズ構造時系列モデルを使って施策がなかった場合の推移を予測し、実績との差から効果を推定する手法で、Rのパッケージとして公開されています。

ただし、どの手法も対照群は施策の影響を受けていない、という前提からは逃れられません。チャネル横断で広告の効果を集計データから推定する方法については、マーケティングミックスモデリング（MMM）とは？｜Cookieが使えない時代に、広告の効果を集計データで測る考え方もあわせて読むと位置づけがつかみやすくなります。

まとめ：割り付けられない施策にも、比べる相手を用意する

差分の差分法の本質は、施策がなかった世界を、施策を受けなかったグループに代わりに語ってもらうことにあります。前後比較の手軽さを保ったまま、季節や外部要因の影響を差し引ける点が強みです。

一方で、その信頼性は平行トレンドの仮定と対照群の選び方にすべてがかかっています。

施策前の推移を必ずグラフにし、対照群に施策が漏れていないかを確かめ、比べ方を事前に決めて記録する。この三つを守るだけで、結論の確かさは大きく変わります。

MonaLensのようにページや流入元、端末ごとの推移を同じ定義で並べられる環境があれば、施策前の平行トレンドの確認はすぐに始められます。次に地域限定やプラン限定の施策を出すときは、公開前に対照群を一つ決めておくことから始めてみてください。