回帰不連続デザイン（RDD）とは？｜閾値で切り替わるルールの効果を、すぐ上とすぐ下の比較で測る

リードスコアが60点を超えたら営業が電話をかける、購入金額が5,000円を超えたら送料が無料になる。プロダクトの中には、こうした閾値（しきい値）で扱いが切り替わるルールがたくさん埋まっています。

では、そのルールは本当に効いているのでしょうか。電話を受けたリードのほうが受注率は高いはずですが、そもそもスコアが高い人は放っておいても買いやすい人です。

ダッシュボードの数字だけを見て、効いていると思い込んでいるルールは意外と多いものです。単純に比べると、ルールの効果と相手の質の差が混ざってしまいます。

この記事では、閾値そのものを実験装置として使う回帰不連続デザイン（RDD）を解説します。A/Bテストができない施策の効果を、すでにあるルールとログから測るための考え方です。

回帰不連続デザイン（RDD）とは何か

回帰不連続デザインは、英語のRegression Discontinuity Designの訳で、RDDと略されます。ある数値が閾値を超えたかどうかで施策の有無が決まる場面で、閾値のすぐ上とすぐ下の人を比べて効果を推定する手法です。

閾値の前後は「ほぼ同じ人」という発想

スコア59点の人と61点の人を思い浮かべてみてください。2点の差で、購買意欲や会社の規模が大きく違うとは考えにくいはずです。

ところが片方は営業の電話を受け、もう片方は受けていません。閾値のすぐ近くでは、施策の有無だけがほぼ偶然に分かれた状態になっていて、これが局所的なランダム化に近い状況を生みます。

3つの基本用語

RDDを読むときには、3つの言葉を押さえておくと迷いません。次の表は、リードスコアの例に当てはめたものです。

割当変数を横軸、結果変数を縦軸にとって散布図を描くと、普通は右肩上がりのなめらかな線になります。施策に効果があれば、閾値のところだけ線が段差のように跳ねるはずで、その段差の高さが効果の推定値です。

どこから来た手法か

この発想は新しいものではありません。教育心理学者のThistlethwaiteとCampbellが1960年に、奨学金制度の表彰が学生のその後に与える影響を調べるために使ったのが始まりとされています。

その後、経済学や政策評価の分野で広く使われるようになりました。合格点、所得制限、年齢の区切りなど、社会には制度としての閾値が多く、それが自然な実験の材料になったからです。

なぜ閾値が「自然な実験」になるのか

A/Bテストが強いのは、誰に施策を当てるかをコインで決めるからです。コインは相手の質を知らないので、2つのグループは平均的に同じになり、差はすべて施策のせいだと言えます。

単純比較がだまされる理由

閾値のルールでは、施策を受ける人は明らかに偏っています。スコアが高い人ほど電話を受け、スコアが高い人ほどもともと買いやすいのですから、全体を比べれば差は大きく出て当然です。

たとえば次のような仮の数字を考えます（数値は説明用の仮定です）。電話を受けた60点以上のリードの受注率が18%、受けていない60点未満が6%なら、差は12ポイントです。

しかし、この12ポイントの大半はスコアの差そのものかもしれません。

段差だけを取り出す

RDDは全体の平均を比べません。閾値の左右それぞれで、割当変数と結果の関係を線で近似し、閾値の位置での線の値の差だけを効果として読みます。

上の例で、59点付近の受注率が9.5%、61点付近が12.5%だったとします（これも仮定です）。この場合、電話の効果として推定されるのは約3ポイントで、単純比較の12ポイントとはまったく違う結論になります。

この差が重要です。12ポイントを信じていれば、電話の対象を50点以上に広げる判断をしがちですが、3ポイントなら人件費に見合うかを冷静に計算し直すべきだとわかります。

シャープRDDとファジーRDD

閾値を超えた全員に施策が当たるかどうかで、RDDは2種類に分かれます。実務では、こちらが思っているよりルールが守られていないことが多いので、この区別は大切です。

シャープRDD

閾値を超えた人には必ず施策が当たり、超えなかった人には絶対に当たらない形です。送料無料ラインのように、システムが自動で切り替えるルールは多くがこちらに当たります。

この場合は、閾値での結果の段差をそのまま施策の効果と読めます。分析としては最も素直な形です。

ファジーRDD

閾値を超えると施策を受ける確率が上がるだけの形です。営業の架電ルールは典型で、60点以上でも担当者が忙しくて電話しない人がいれば、59点でも気になって電話する担当者もいます。

この場合は、結果の段差を、施策を受けた割合の段差で割り戻します。たとえば閾値で受注率が1.5ポイント跳ね、架電を受けた割合が50ポイント跳ねたなら、電話を実際に受けたことの効果は1.5÷0.5で約3ポイントと推定します（数値は説明用の仮定です）。

この割り算は、統計学でいう操作変数法と同じ構造です。閾値を超えたかどうかが、施策を受けたかどうかを動かすレバーの役割を果たしています。

どちらに当たるかを見分ける

自社のルールがシャープかファジーかは、思い込みで決めずにデータで確かめます。割当変数ごとに施策を受けた人の割合を描き、閾値で0%から100%へ切り替わっていればシャープ、途中の値で跳ねていればファジーです。

運用の現場では、例外処理や手動の上書きがあとから積み重なります。仕様書ではシャープのはずのルールが、実際にはファジーになっていることは珍しくありません。

RDDが崩れる3つの落とし穴

RDDは前提が見えやすい手法ですが、その分だけ崩れ方もはっきりしています。結果を信じる前に、次の3点を必ず確かめましょう。

閾値の操作（ソーティング）

人が自分の割当変数を動かせると、閾値の左右は同じ人ではなくなります。送料無料ラインの手前で、もう1品をカートに入れる買い物客はまさにこれです。

5,000円のすぐ上にだけ注文が不自然に集まっていれば、閾値の上には工夫して超えた人、下には諦めた人が並んでいます。

これを確かめるには、割当変数の分布に閾値で段差がないかをヒストグラムで見ます。この確認は、提案者の名前をとってMcCrary検定と呼ばれる方法で統計的にも行えます。

閾値で同時に変わる別の施策

同じ閾値で複数のことが切り替わると、段差がどの施策のせいか分けられません。60点を超えると営業の電話に加えて、特別なメールシナリオにも乗るような設計がそうです。

ルールを作るときに、一つの閾値には一つの施策を対応させておくと、あとから効果を測りやすくなります。分析の都合が設計に影響するのは、計測を後回しにしない組織の特徴でもあります。

遠くのデータに引っ張られる

閾値から遠い人まで使うとデータは増えますが、線の形を間違えるリスクが上がります。逆に近い人だけに絞ると、偏りは減る代わりに人数が足りず結果がぶれます。

この閾値からの距離をバンド幅と呼び、偏りとばらつきのトレードオフを調整するつまみになります。結果を報告するときは、バンド幅を半分や倍にしても結論が大きく変わらないことを添えるのが誠実です。

プロダクトとRevOpsでの使いどころ

閾値はプロダクトのあちこちに埋まっています。RDDの考え方を知っていると、すでに運用しているルールの中から効果測定の材料が見つかります。

よくある閾値の例

次の表は、ウェブサービスやSaaSで見かける閾値と、RDDで問える問いを並べたものです。

スコアリングの設計そのものについては、リードスコアリング｜行動データで精度を上げる設計と着手順で詳しく扱っています。スコアを作るときに、後でRDDで検証できるよう閾値と処理のログを残しておくと、ルールの改善が回り始めます。

分析に必要なデータの形

RDDに必要なのは、一人ひとりについての割当変数の値、施策を受けたかどうか、結果の3つです。次のような形のテーブルが用意できれば、表計算ソフトでも最初の確認はできます。

lead_id, score, called, won_90d
L-1001,  57,    0,      0
L-1002,  59,    1,      0
L-1003,  61,    1,      1
L-1004,  62,    0,      0

この例では59点で電話を受けた人も、62点で受けていない人もいるので、ファジーRDDになります。まずはスコアごとの受注率と架電率を集計して折れ線にし、閾値で段差が見えるかを目で確かめるのが第一歩です。

分析の4ステップ

データが揃ったら、いきなり統計モデルを組むより、次の順で進めると判断を誤りにくくなります。

• 割当変数のヒストグラムを描き、閾値で人数が不自然に偏っていないかを確かめる
• 割当変数ごとに施策を受けた割合を描き、シャープかファジーかを見極める
• 割当変数ごとの結果を描き、閾値で段差があるかを目で確かめる
• 閾値の左右で線を引いて段差を推定し、バンド幅を変えても結論が保たれるかを見る

最初の3つはグラフを描くだけで終わる作業です。統計の専門家がいなくても、グラフで段差が見えないのに数字だけ有意になるような結果を疑う目は、この3枚で十分に養えます。

4つ目の推定には、RやPythonで使える専用のパッケージが公開されていて、バンド幅の自動選択や信頼区間の計算まで任せられます。ただし道具に任せる前に、グラフで自分の目を通しておくことが何より大切です。

ほかの手法との使い分け

施策の前後と比較対象があるなら、差分の差分法（DiD）とは？｜A/Bテストができない施策の効果を、比べる相手を用意して測るが候補になります。RDDは時間ではなく閾値で比べる相手を作る点が違います。

施策を受けた人と似た人を属性で揃えて比べたいなら、傾向スコア（Propensity Score）とは？｜機能を使った人ほど継続する理由を、比べる相手を揃えて確かめるの考え方が使えます。ただし傾向スコアは、観測していない違いには弱いという限界があります。

その点RDDは、閾値の前後が同じような人だという前提さえ守れれば、観測していない違いにも比較的強いのが利点です。もちろん、自由に割り当てを決められるなら、A/Bテストの始め方｜ノーコードで検証する手順と注意点で紹介しているランダム化がいちばん確実です。

結果を読むときの注意

RDDで得られる効果は、あくまで閾値付近の人にとっての効果です。60点前後のリードへの電話が3ポイント効いたとしても、30点のリードに電話して同じ効果が出るとは限りません。

外挿しすぎない

閾値を動かす判断をするときは、この限界を意識しておく必要があります。閾値を50点に下げたいなら、50点付近の人にも同じ効果があるかを別に確かめる必要があり、小さなA/Bテストで確かめるのが安全です。

人数の少なさに備える

閾値のすぐ近くに絞るため、使えるデータは全体のごく一部になります。月に数十件しかリードがない段階では、段差が見えても偶然の範囲を出ないことがよくあります。

その場合は、効果を断定せずに推定の幅を示し、データがたまるまで判断を保留するのも立派な結論です。ウェブ上の行動を閾値にする場合も同じで、MonaLensのようなアクセス解析ツールで閾値前後の訪問者数をまず数え、分析に足る人数がいるかを確かめるところから始めると無駄がありません。

ルールを作るときに計測を仕込む

RDDを使うたびに思い知らされるのは、ルールを作った時点の記録の大切さです。いつから閾値が何点だったのか、誰に施策が当たったのかが残っていなければ、どんなに優れた手法でも分析は始められません。

そこで、閾値のルールを新しく作るときは、割当変数の値と施策の実施有無をその場でログに残すことをおすすめします。閾値を変えた日付も記録しておけば、変更前後の比較という別の検証にも使えます。

効果がゼロでも学びになる

段差が見えなかったという結果も、立派な成果です。毎月かなりの工数をかけている架電ルールに効果が見えなければ、その工数を別の施策に回す根拠になります。

大切なのは、効果がないことを示したのではなく、閾値付近では効果を確認できなかったと正確に伝えることです。言い過ぎない報告は、次の検証への信頼を積み上げます。

まとめ

回帰不連続デザインは、閾値で扱いが切り替わるルールを自然な実験として使い、閾値のすぐ上と下の差から施策の効果を推定する手法です。A/Bテストができない、あるいはすでに走っているルールの効果を知りたい場面で力を発揮します。

ただし、閾値の操作、同じ閾値での別施策、バンド幅の選び方という3つの点検を通してはじめて、段差を効果と呼べる根拠になります。得られるのは閾値付近の効果だという限界も忘れないでください。

まずは、自社のプロダクトに埋まっている閾値を一つ選び、割当変数ごとの結果を折れ線で描いてみてください。その一枚のグラフが、ルールを見直す議論の出発点になるはずです。