A/Bテストで新しい割引施策が大勝ちしたので全員に展開したところ、全体の売上はほとんど動かなかった。そんな経験はないでしょうか。
計算を間違えたわけでも、サンプルが足りなかったわけでもありません。原因は、テストの前提そのものが崩れていたことにあるかもしれません。
この記事では、A/Bテストの干渉(interference)という問題を扱います。ユーザー同士が在庫・予算・人間関係などでつながっていると、片方のグループへの施策がもう片方にも漏れ出し、普通のA/Bテストは効果を大きく見誤ります。
マーケットプレイス、SNS、広告配信、共同編集ツールなどを作っているプロダクトマネージャーやグロース担当の方に向けて、なぜ起きるのか、どう見抜くのか、どんな実験設計で避けるのかを順に整理します。
A/Bテストが暗黙に置いている前提
まず、普通のA/Bテストが何を前提にしているかを確認しておきましょう。前提が分かれば、どこで崩れるかも見えてきます。
SUTVAという仮定
因果推論の分野では、この前提をSUTVA(Stable Unit Treatment Value Assumption、処置の安定性の仮定)と呼びます。統計学者のドナルド・ルービンが整理した考え方で、ある人の結果はその人が受けた処置だけで決まり、他の人がどちらのグループに入ったかには左右されない、という仮定です。
言い換えると、Aグループの誰かが新機能を使っても、Bグループの誰かの行動は一切変わらないということです。ふだんのウェブサイトのボタン色テストなら、この仮定はほぼ成り立っています。
前提が崩れると何が起きるか
SUTVAが崩れると、Bグループ(対照群)はもはや「施策がなかった世界」の代わりになりません。対照群そのものが施策の影響を受けてしまうからです。
すると、AとBの差は「施策がある世界とない世界の差」ではなく、「同じ世界の中で施策の恩恵を取り合った結果の差」になります。これが干渉によるバイアス(系統的な偏り)の正体です。
A/Bテストの基本的な進め方そのものは、多くの入門記事で解説されているとおりです。この記事はその一段先、基本の手順どおりにやっても数字が嘘をつくケースの話です。
干渉が起きる3つの典型パターン
干渉は特殊な現象に見えますが、実は多くのプロダクトに潜んでいます。業界で観測されるパターンを、仕組みごとに3つに分けて見ていきます。
共有資源の取り合い(マーケットプレイス型)
フリマ、宿泊予約、配車、フードデリバリーのように、買い手と売り手が限られた在庫や供給を分け合うサービスでは、干渉がもっとも起きやすくなります。
たとえば一部の買い手だけに割引を出すと、その人たちは人気の商品や近くのドライバーを先に押さえます。対照群の買い手は残りものしか選べなくなり、本来より成約が下がります。
結果として、処置群は上がり、対照群は下がり、両者の差は実際の効果よりも大きく見えるのです。全員に展開すると取り合う相手がいなくなるので、テストで見えた差の多くは消えてしまいます。
予算の取り合い(広告型)
広告配信でも同じことが起きます。広告主のキャンペーン予算は処置群にも対照群にも共通の財布だからです。
新しい入札ロジックが処置群で多くの表示を勝ち取ると、その分だけ予算が早く減り、対照群に回るはずだった表示が減ります。テスト上は売上が伸びたように見えても、予算の総額が増えるわけではないので、全体展開後の売上は伸びません。
つながりを通じた波及(ネットワーク型)
SNSやメッセージング、共同編集ツールでは、人と人のつながりそのものが干渉の経路になります。処置群のユーザーが新機能でたくさん投稿すれば、そのフォロワーである対照群のユーザーもタイムラインが賑わい、反応が増えます。
この場合は逆に、対照群の数字も押し上げられるので、差は実際の効果よりも小さく見えることがあります。ネットワーク効果が強い製品ほど、本当は効いている施策を見逃すリスクがあるわけです。
ネットワーク効果そのものの性質はコールドスタート問題とネットワーク効果で詳しく扱っています。効果が人から人へ伝わる製品ほど、実験の分け方にも同じ注意が要ると考えてください。
数値で見る干渉のバイアス
ここまでの話を、簡単な計算例で確かめてみましょう。以下の数値はすべて説明用の仮定です。
割引テストの架空の例
あるフリマアプリで、買い手の半数に送料無料クーポンを配るテストをしたとします。出品在庫は1日あたり一定で、良い出品から先に売れていく状況です。
テスト期間中、クーポンを持つ買い手は良い出品を早く買い、クーポンなしの買い手は買いたい物が見つからず購入率が下がりました。
次の表は、この仮の例で各グループの購入率がどう見えたかをまとめたものです。
| 状況 | 処置群の購入率 | 対照群の購入率 | 見かけの差 |
|---|---|---|---|
| 施策前(全員クーポンなし) | 10.0% | 10.0% | なし |
| テスト中(半数だけクーポン) | 12.5% | 8.5% | +4.0ポイント |
| 全員に展開した後 | 10.8% | 対照群なし | 実効果は+0.8ポイント |
テスト中の差は4.0ポイントですが、その大半は対照群が10.0%から8.5%に下がったことによるものです。全員展開後に施策前と比べた本当の伸びは0.8ポイントしかありません。
テストの差は実効果のおよそ5倍に膨らんでいた計算になります。
このように、干渉のバイアスはサンプルを増やしても消えません。偶然のぶれではなく、設計に組み込まれた偏りだからです。
対照群の変化を見るクセ
この例で注目してほしいのは、対照群の数字が施策前より下がっていた点です。干渉を疑う一番手軽な手がかりは、まさにここにあります。
テスト期間中の対照群が、テスト前の同じ時期と比べて不自然に悪化(または改善)していないかを見てください。対照群は本来「何も変えていない人たち」なので、大きく動いていたら何かが漏れています。
サンプルを増やしても解決しないという点は、A/Bテストのサンプルサイズ設計で扱う偶然のぶれとは性質がまったく違います。検定力の問題ではなく、比べている物差しそのものが曲がっているのです。
干渉を避ける実験設計
では、干渉が疑われるときはどう設計すればよいのでしょうか。
基本の発想は、影響が漏れ合う単位をまとめて同じグループに入れることです。代表的な方法を順に見ていきます。
クラスターランダム化
個人ではなく、互いに影響し合う人のかたまり(クラスター)ごとにグループを割り当てる方法です。地域、都市、店舗、あるいはSNSのつながりから作ったコミュニティなどを単位にします。
同じ地域の買い手と売り手が全員同じグループに入れば、地域の中での取り合いは起きません。クラスターの境界をまたぐ影響が小さいほど、バイアスは小さくなります。
スイッチバックテスト
時間を単位にして、同じ地域の中で処置と対照を交互に切り替える方法です。たとえばある都市で、1時間ごとに新しい配車ロジックと旧ロジックをランダムに入れ替えます。
供給と需要が短い時間で入れ替わる配車やデリバリーのようなサービスでよく使われ、業界の技術ブログでもたびたび紹介されています。注意点は、前の時間帯の影響が次に持ち越されるキャリーオーバーで、切り替え直後のデータを捨てるなどの工夫が必要です。
予算分割(バジェットスプリット)
広告型の干渉に対しては、各キャンペーンの予算をあらかじめ半分ずつに分け、処置用と対照用の小さなキャンペーンを2つ作る方法があります。表示の機会はランダムにどちらかへ振り分けます。
こうすると処置群が対照群の予算を食うことはなくなり、事実上、同じ条件の市場を2つ並行して動かしている状態になります。
ここまでの3つに個人単位の普通のA/Bテストを加えて、特徴を比べたのが次の表です。
| 設計 | 割り当ての単位 | 向いている干渉 | 主な弱点 |
|---|---|---|---|
| 普通のA/Bテスト | ユーザー個人 | 干渉がほぼない場合 | 共有資源があると偏る |
| クラスターランダム化 | 地域・コミュニティ | ネットワーク型・地域内の取り合い | 単位が少なく検定力が落ちる |
| スイッチバック | 時間帯×地域 | 短時間で入れ替わる需給 | 持ち越し効果、長期効果が見えない |
| 予算分割 | キャンペーン予算 | 広告予算の取り合い | 予算が細切れになり消化が鈍る |
設計の代償と、選び方の手順
干渉を避ける設計には、どれも代償があります。ここを理解しないまま導入すると、偏りは消えたが何も結論が出ない、という別の失敗に陥ります。
検定力とのトレードオフ
クラスターランダム化やスイッチバックでは、割り当ての単位が人から地域や時間帯に変わります。数百万人のユーザーがいても、地域が30しかなければ、統計的には30個のデータで比べているのに近くなります。
そのため、同じ効果を検出するのに必要な期間は大幅に長くなるのが普通です。クラスター内の人どうしが似ているほど、この目減りは大きくなります。
検定力を取り戻すには、テスト前のデータでばらつきを減らす工夫が役に立ちます。考え方はCUPEDと同じで、クラスター単位の過去の数値を共変量として使います。
長期効果は別に測る
スイッチバックは短い時間で切り替えるため、ユーザーが施策に慣れる効果や、売り手やドライバーが離脱するといった数週間かかる変化は捉えられません。
干渉を消すための設計が、別の種類の効果を見えなくすることがあるのです。長期の影響は、地域単位の長めの実験や、一部の地域だけ施策を止めておくホールドアウトで別途確かめるのが現実的です。
選び方の目安
どの設計を使うかは、干渉がどこを通って漏れるかで決まります。迷ったときは次の順に考えると整理しやすくなります。
- 処置群と対照群が、在庫・予算・人間関係のどれかを共有しているかを洗い出す
- 共有していなければ、普通の個人単位のA/Bテストで十分と判断する
- 地域ごとに需給が閉じているならクラスター、短時間で需給が入れ替わるならスイッチバックを選ぶ
- 広告予算の取り合いなら予算分割を選び、消化ペースの変化も監視する
干渉を見抜くための実務チェック
最後に、すでに走っている、あるいは過去に走らせたテストで干渉を疑うための手順をまとめます。高度な設計を導入する前に、まずここから始めるのがおすすめです。
対照群の時系列を見る
前の章で触れたとおり、対照群の主要指標をテスト前の期間と並べて比べます。季節要因を除くため、前年同期や直前の同じ曜日と比べると分かりやすくなります。
対照群だけが不自然に動いていたら、それは施策の影響が漏れているサインです。逆に動いていなければ、少なくとも大きな干渉はなさそうだと判断できます。
2つの設計を並べて比べる
予算や時間に余裕があれば、同じ施策を個人単位とクラスター単位の両方で同時に走らせ、推定値を比べるという方法もあります。両者の差が大きければ、その差こそが干渉の大きさの目安です。
SNS系の企業では、ユーザーのつながりをもとにクラスターを作り、個人単位の実験と並行させて干渉を検出する手法が論文や技術ブログで公開されています。最初から完璧な設計を目指すより、一度この比較をして自社の製品にどれだけ干渉があるかを知るのが近道です。
割り当てログを残しておく
どの単位をどちらのグループに割り当てたかを、実験ごとに記録しておくことも欠かせません。地域や時間帯で割り当てた場合、後からその単位で集計し直せないと、せっかくの設計が分析で台無しになります。
集計に使うコードは、たとえば次のような形になります。ここでは時間帯×地域の単位ごとに平均を取ってから比べる点が大切です。
-- スイッチバック実験の集計例(概念を示す擬似SQL)
-- 単位 = 地域 × 1時間枠。個々の注文ではなく単位ごとに平均してから比べる
SELECT
arm, -- 'treatment' か 'control'
COUNT(*) AS units, -- 単位の数(これが実質のサンプル数)
AVG(orders_per_unit) AS avg_orders,
AVG(minutes_to_deliver) AS avg_minutes
FROM (
SELECT region, hour_slot, arm,
COUNT(order_id) AS orders_per_unit,
AVG(delivery_minutes) AS minutes_to_deliver
FROM orders
WHERE minutes_since_switch >= 10 -- 切り替え直後の持ち越し期間を除外
GROUP BY region, hour_slot, arm
) t
GROUP BY arm;
個々の注文を数百万件並べて検定すると、実際より確信度が高く出てしまいます。集計の単位は割り当ての単位にそろえるという原則を、コードの形で守るのがポイントです。
まとめ:まず、つながりを地図にする
A/Bテストの干渉は、計算や統計の問題に見えて、実はプロダクトの構造の問題です。処置群と対照群が何を共有しているかが分かれば、バイアスの向きもおおよそ予想できます。
共有資源を取り合う型では効果が大きく見え、つながりを通じて良い影響が広がる型では効果が小さく見えやすい。この2つの向きを覚えておくだけでも、テスト結果の読み方は変わります。
一方で、通常のウェブサイトで訪問者ごとに見せるページを変えるテストなら、訪問者どうしの干渉はほとんど起きません。MonaLensのA/Bテストも訪問者単位で割り当てる方式で、LPやボタンの改善のように干渉の少ない検証に向いています。
大切なのは、あらゆるテストを複雑にすることではなく、干渉が起きる場所だけを見極めて設計を変えることです。次のテストを設計するときは、まずホワイトボードに自社のユーザー・在庫・予算のつながりを描き、施策の影響がどこへ流れるかを確かめてみてください。
また、テストの初期だけ大きく勝って後でしぼむ現象には、干渉のほかに新奇性効果という別の原因もあります。展開後に効果が消えたときは、両方の可能性を疑うと原因にたどり着きやすくなります。