ガードレール指標とは？｜A/Bテストで勝ったのに製品を壊さないための指標設計

A/Bテストで新しいデザインが勝ちました。コンバージョン率は上がり、統計的にも有意です。

ところが公開から数週間後、問い合わせ窓口に表示が遅いという声が届き始め、解約率もじわじわと上がっていました。こんな経験、あるいはその手前のヒヤリとした場面に覚えはないでしょうか。

この記事では、こうした事故を防ぐためのガードレール指標を、基本の定義から、合否の判定方法、本数の決め方、運用の落とし穴まで体系的に解説します。

ガードレール指標とは何か

ガードレール指標とは、実験で改善を狙うわけではないものの、悪化させてはいけない指標のことです。道路のガードレールが車の進路を決めるのではなく、崖から落ちるのを防ぐのと同じ役割を担います。

主役の指標と見張り役の指標

A/Bテストには、伸ばしたい主役の指標があります。購入率や登録率など、その実験の目的そのものです。

これに対してガードレール指標は見張り役です。表示速度、エラー率、解約率、返金率のように、勝ち負けの判定には直接使わないが、壊れていたら公開を止めるための数字を指します。

大規模な実験基盤での位置づけ

MicrosoftのExperimentation Platformチームは、実験で見る指標をデータ品質指標、全体評価基準（OEC）、機能ごとの診断指標、ガードレール指標の四つに分けて整理しています。そこではガードレール指標を、悪化させたくないが必ずしも改善はしない側面を測るもの、と定義しています（Microsoft Research: Patterns of Trustworthy Experimentation, During-Experiment Stage）。

同チームはさらに、こうした中核の指標群は、どの機能を試す実験であってもすべての実験で共通に計算するべきだとしています（同 Pre-Experiment Stage）。実験ごとに見張る項目を選び直すと、思いもよらない場所の劣化を見落とすからです。

主役の指標や診断用の指標との違い

ガードレール指標と混同されやすいのが、機能ごとの利用状況を測る診断用の指標です。診断用の指標は、主役の指標がなぜ動いたのかを説明するための材料であり、合否には使いません。

一方でガードレール指標は、合否の判定に拒否権として参加する点が決定的に違います。主役の指標がどれほど伸びていても、ガードレールが不合格なら公開しない、という順序をチームで共有しておくことが大切です。

なぜ主役の指標だけでは足りないのか

一つの数字だけを最適化すると、その数字は伸びても、測っていない部分が犠牲になりがちです。これは指標の世界でよく知られた現象です。

測ったものだけが最適化される

指標を目標にすると、その指標が本来表していた価値から離れていく傾向は、グッドハートの法則として知られています。A/Bテストはこの性質を極端な形で引き出す仕組みです。

なぜなら、実験は主役の指標が上がる案を機械的に選び続けるからです。押し売り気味のポップアップ、解約ボタンを見つけにくくする変更、重い動画の自動再生などは、短期の主役指標を上げつつ、別の場所に負債を積み上げる典型例です。

副作用は離れた場所に出る

副作用は、変更した画面とは別の場所に現れることが少なくありません。Microsoftの実験チームは、インフラ変更の実験で、個々のAPIの遅延がわずかに増えるだけと見込んでいたところ、画面によっては主要な内容が表示されるまでの時間が倍になっていたという事例を報告しています（Microsoft Research: A/B Testing Infrastructure Changes at Microsoft ExP）。

ウェブサイトは裏側で複数のAPIを順番に呼ぶことが多く、小さな遅れが積み重なって体感では大きな遅れになるためです。部品単位の数字だけでなく、製品全体の体験を表すガードレールが必要だという教訓です。

どんな指標をガードレールにするか

ガードレール指標は、大きく三つの系統に分けて考えると漏れが減ります。体験の品質、ビジネスの健全性、そして実験そのものの信頼性です。

三つの系統と代表例

それぞれの系統で、よく使われる指標と、悪化したときに起きることを表にまとめます。

体験の品質については、表示の速さだけでなく操作に対する反応の遅さも見ておきたいところです。指標の選び方はCore Web Vitals（INP）の解説も参考になります。

実験の信頼性は別格に扱う

三つ目の系統は少し性格が違います。割り当て比率が設計とずれている場合、主役の指標がどれだけ良く見えても、結果全体を疑う必要があります。

この割り当てのずれについては、SRM（サンプル比率の不一致）とは？で詳しく扱いました。信頼性系の指標は、他のガードレールと違って悪化の大小ではなく、異常があれば分析を止めるという扱いにするのが一般的です。

選ぶときの基準

指標の候補はいくらでも挙げられますが、すべてを見張る必要はありません。次の観点で絞り込みます。

• 多くの実験で動く可能性があり、製品全体に関わる数字であること
• 悪化したときの損失が大きく、後から取り返しにくいこと
• 実験期間内に変化が観測できるだけの感度があること
• 定義が安定していて、チーム全員が同じ意味で読めること

合否をどう判定するか：非劣性という考え方

ガードレール指標で最も誤解されやすいのが判定方法です。主役の指標と同じように、有意な差があるかどうかで判断すると、思わぬ見落としが起きます。

差がないことは悪化していないことではない

ある指標で有意な悪化が見つからなかったとします。それは悪化していない証拠ではなく、単に悪化を検出できるだけのデータがなかっただけかもしれません。

サンプルが少ない実験ほど、どんな指標も有意になりにくくなります。つまり有意差の有無だけで判断すると、小さな実験ほどガードレールを素通りしやすいという逆転が起きてしまいます。

許容幅を先に決める

そこで使われるのが非劣性という考え方です。あらかじめ、ここまでの悪化なら許容するという幅（非劣性マージン）を決め、悪化がその幅を超えていないことを積極的に示せたときだけ合格とします。

実務では、差の信頼区間を見るとわかりやすくなります。悪い方向の端が許容幅の内側に収まっていれば合格、許容幅をまたいでいれば判定保留、区間全体が許容幅の外なら不合格です。

計算例で確かめる

具体的な数字で見てみましょう。以下の数値はすべて説明用の仮定です。

ガードレール: ページ表示時間の中央値（小さいほど良い）
許容幅（非劣性マージン）: +100ミリ秒まで

ケース1: 差 +20ms、95%信頼区間 [-15ms, +55ms]
  → 悪い側の端 +55ms は許容幅 +100ms の内側 → 合格

ケース2: 差 +20ms、95%信頼区間 [-60ms, +140ms]
  → 悪い側の端 +140ms が許容幅を超える → 判定保留（データ不足）

ケース3: 差 +180ms、95%信頼区間 [+130ms, +230ms]
  → 区間全体が許容幅の外 → 不合格

ケース1とケース2は、差の推定値がどちらも同じ+20ミリ秒です。それでも結論は異なります。

ケース2は有意な悪化ではありませんが、大きな悪化の可能性を否定できていないため、合格にはできません。有意差だけを見ていたら、ケース2は問題なしとして通っていたはずです。

本数と検出力のトレードオフ

ガードレールは多いほど安全に思えます。しかし本数を増やすことには、はっきりとしたコストがあります。

全部の合格は意外と難しい

非劣性の判定では、ガードレールのすべてで同時に合格を示す必要があります。一つひとつが十分な確率で合格できる設計でも、本数が増えると、全部そろって合格を示せる確率は掛け算で下がっていきます。

その結果、本当は何も壊していない良い変更が、判定保留のまま公開できない状況が増えます。これを避けるには、必要なサンプルサイズを増やすか、本数を絞るしかありません。

サンプルサイズ設計に組み込む

ですから、ガードレール指標は実験を始める前のサンプルサイズ計算に含めておくべきです。主役の指標だけで必要人数を決めると、後になってガードレールの判定が保留だらけになります。

主役の指標の必要人数の考え方は、A/Bテストのサンプルサイズ設計で解説しました。ガードレール側では、許容幅を検出できるかどうかを同じ枠組みで確認します。

監視用と判定用を分ける

本数の問題への現実的な答えは、ガードレールを二層に分けることです。

公開の可否を決める判定用ガードレールは、本当に譲れない数本に絞ります。それ以外は監視用として結果画面に並べ、大きな悪化が出たときだけ人が詳しく調べる、という役割分担にします。

運用で効いてくる工夫

定義と判定方法が決まったら、あとは日々の運用です。ここで手を抜くと、せっかくの設計が形だけになります。

自動停止とアラート

明らかな悪化は、実験の終了を待たずに止めたいものです。Microsoftの実験チームは、表示速度やエラー率などのガードレールにアラートを設定し、製品や体験を大きく損なう実験は自動で停止する仕組みを勧めています（前掲 During-Experiment Stage）。

人の目による確認は、気づくのが遅れがちです。とくに夜間や休日に始まった実験では、自動停止の有無が被害の大きさを左右します。

ただし、途中経過を何度も見て合否を判断すると、偶然のぶれを本当の差と取り違えやすくなります。途中で止めるのは明白な悪化に限り、合否の判定はあらかじめ決めた期間の終了時に行うのが基本です。

引っかかったときの次の一手

ガードレールが不合格や判定保留になっても、その案を捨てる必要はありません。多くの場合、悪化の原因は案の本質ではなく、画像の重さや読み込み順のような実装の細部にあります。

まずは悪化した指標を端末や流入元などで分けて見て、どこで劣化が起きているのかを特定します。原因を直したうえで同じ仮説をもう一度実験するのが、良いアイデアを手放さずに安全も守る王道です。

許容幅は事業の言葉で決める

許容幅は統計の都合ではなく、事業の判断で決めます。たとえば、売上が一定以上伸びるなら表示速度のこの程度の悪化は受け入れる、といった交換条件をあらかじめ言葉にしておきます。

許容幅を実験の結果を見てから決めると、どうしても都合のよい数字になります。実験の設計段階で文書に残すことが、判断の公正さを支えます。

小さなチームでの始め方

専用の実験基盤がなくても、ガードレールの考え方はすぐに取り入れられます。少人数のチームや個人開発なら、次の三つから始めるのがおすすめです。

• 表示速度とエラー率を、すべての実験で必ず比較する
• 解約や返金など、遅れて出る指標は公開後も数週間追いかける
• 割り当て比率のずれを、結果を読む前に毎回確認する

ガードレールの比較は、主役の指標と同じ場所で見られると習慣になりやすくなります。MonaLensのようにA/Bテストとファネル分析を同じツールで扱えると、勝ちの裏で別の導線が細っていないかを確かめる手間が小さくなります。

まとめ

ガードレール指標は、A/Bテストで勝った変更が、測っていない場所で製品を壊していないかを確かめるための見張り役です。主役の指標が実験の進む方向を決め、ガードレールが落ちてはいけない崖を示します。

判定では、有意な悪化がないことではなく、許容幅を超える悪化がないことを示す非劣性の考え方が要になります。本数を増やすほど判定は難しくなるため、判定用は数本に絞り、残りは監視用に回すのが現実的です。

次の実験を設計するときは、主役の指標を決めたその場で、悪化させてはいけない指標とその許容幅を一緒に書き出してみてください。それだけで、勝ったのに壊れたという事故の多くは防げるはずです。