トワイマンの法則とは？｜「面白すぎる数字はたいてい間違い」をデータ分析の習慣にする

ダッシュボードを開いたら、先週リリースした新しいLPのコンバージョン率が一晩で2倍になっていた。そんな場面で、あなたは最初に何をするでしょうか。

祝杯の準備をしたくなる気持ちはよくわかります。けれどもデータ分析の世界には、その瞬間にこそ疑ってかかれという古い経験則があります。

それがトワイマンの法則（Twyman's Law）です。この記事では、法則の中身と生まれた背景、なぜ「面白い数字」ほど間違っているのか、そしてA/Bテストや日々のレポートでどう運用すればよいのかを、初めての方にもわかるように順を追って解説します。

トワイマンの法則とは？

トワイマンの法則は、ひとことで言えば面白そうに見える数字や、いつもと違う数字は、たいてい間違っているという経験則です。数式で証明される定理ではなく、データを扱う人たちが繰り返し痛い目にあって身につけた教訓を、短い言葉にまとめたものです。

名前の由来

名前は、イギリスでラジオやテレビの視聴率調査に長く携わったトニー・トワイマン（William Anthony Twyman）に由来します。本人がこの言葉を文章として書き残したわけではないとされ、口伝えで広まったため、言い回しにはいくつかのバリエーションがあります。

オンライン実験の世界で広まった

この法則がプロダクト開発の現場で広く知られるようになったきっかけの一つが、ロン・コハヴィ、ダイアン・タン、ヤ・シュウの3氏による書籍『Trustworthy Online Controlled Experiments』（Cambridge University Press、2020年）です。同書は第3章をまるごとこの法則と実験の信頼性にあてており、大規模にA/Bテストを回す組織で、驚くような結果の多くが計測や分析のミスに由来していたという経験が語られています。

似た考え方との関係

この法則は、天文学者カール・セーガンが広めたことで知られる並外れた主張には、並外れた証拠が必要だという考え方とよく似ています。どちらも、意外な主張ほど強い裏づけを求めるべきだという点で一致しています。

データ分析に置き換えるなら、いつもどおりの数字は軽い確認で受け入れてよく、いつもと違う数字ほど重い確認が必要になるということです。検証の手間を、結果の意外さに比例させる発想だと言えます。

法則が言っていないこと

ここで大事なのは、法則が驚くべき発見は存在しないと言っているわけではない点です。言っているのは、驚くべき結果を見たときに、本物の発見である確率よりも、どこかに誤りがある確率のほうが高いという、ごく現実的な見積もりです。

なぜ「面白い数字」ほど間違っているのか

直感に反するように聞こえるかもしれません。しかし少し考えると、これはかなり筋の通った話です。

本物の大改善はそもそも珍しい

成熟したプロダクトでは、一つの変更で主要指標が大きく動くことはめったにありません。多くの施策は小さくプラスか、ほぼ横ばいか、小さくマイナスに落ち着きます。

一方で、タグの二重発火やイベント名の変更漏れ、ボットの混入、集計期間のずれといった計測の不具合は、思いのほか頻繁に起きます。こうした誤りは、ときに数十％、ときには桁違いの変化を生みます。

確率で考えてみる

ここで、次のような状況を仮定してみましょう（数値はすべて説明用の仮定です）。あるチームが1年間に100回の施策評価を行い、そのうち本当に指標を大きく押し上げた施策が2回、計測や集計の誤りで見かけ上の大変化が出たケースが8回あったとします。

この場合、大きな変化を目にしたときにそれが本物である確率は、10回中2回、つまり20％にすぎません。異常値を見たときの事前の見込みは、誤りの側に傾いているというのが、トワイマンの法則を確率の言葉に直した姿です。

人は「見たい結果」を疑わない

もう一つの理由は人間側にあります。

期待どおりの良い結果が出ると、私たちはそれ以上掘らずに報告してしまいがちです。逆に悪い結果が出たときだけ、念入りにバグを探します。

この非対称な疑い方を続けると、良い方向の誤りだけが報告に残り、組織の意思決定が少しずつ楽観側へ歪んでいきます。トワイマンの法則は、良い驚きにも悪い驚きと同じだけの疑いを向けるための合言葉でもあるのです。

異常値を生む典型的な原因

では、面白すぎる数字の裏には何が潜んでいることが多いのでしょうか。業界で繰り返し観測されるパターンを、発生しやすい場所ごとに整理すると次のようになります。

計測の不具合

最も多いのが計測そのものの問題です。新しいページにタグを入れ直した際に古いタグが残り、購入イベントが2回ずつ記録されていた、というのが典型例です。

簡単な計算で確かめてみましょう（数値は説明用の仮定です）。訪問者1,000人のうち30人が購入してCVRが3％だったところ、購入イベントが二重に記録されるようになると、同じ30人の購入が60件と数えられ、見かけのCVRは6％に倍増します。

逆に、ボタンのクラス名を変えたことで計測対象から外れ、クリックがゼロになることもあります。どちらも施策の効果ではなく、計測の仕組みが変わったことを示しているだけです。

混入したトラフィック

自動化された監視ツール、検索エンジンやAIのクローラー、社内のQA担当者のアクセスなどが、本物の訪問者と同じように数えられてしまう問題です。

人間でないアクセスが特定のページや特定の端末に偏ると、セグメント別の数字に極端な差が生まれます。詳しくはAIクローラーの急増とボットトラフィックで扱っています。

実験の割り当てと分析のミス

A/Bテストでは、群の振り分けが崩れていると結果全体が信用できなくなります。その代表的なサインが、群ごとの人数比が設計と食い違う現象で、これはSRM（サンプル比率の不一致）の記事で詳しく解説しています。

分析の段階でも誤りは入り込みます。データが揃う前に何度も結果を確認して、たまたま差が開いた瞬間に止めてしまう、いわゆるピーキング問題はその典型です。

A/Bテストでトワイマンの法則を運用する

法則を知っているだけでは、忙しい現場では使えません。驚く結果が出たときに自動的に立ち止まれるよう、手順として組み込んでおくのが現実的です。

「驚き」の基準を先に決めておく

まず、どの程度の変化を驚きとみなすかを、テスト開始前に決めます。たとえば、過去のテストで主要指標が動いた幅の上限を目安にし、それを大きく超えたら追加の検証に回すというルールです。

基準を後から決めると、結果を見てから都合のよい線を引きたくなります。判断の線は結果を見る前に引くのが原則です。

検証チェックリスト

驚きの基準を超えた結果が出たら、結論を出す前に次の確認を順番に行います。上から順に、手間が小さく見つかりやすいものを並べています。

1. 群ごとの人数比は設計どおりか（SRMの確認）
2. 主要イベントの件数が、テスト前の同じ期間と比べて不自然に増減していないか
3. 差が特定のブラウザ・端末・流入元・日付だけに集中していないか
4. 変更していないはずの指標（ガードレール指標）まで大きく動いていないか
5. 実際に両方のパターンを自分で操作し、イベントが1回ずつ記録されるか
6. 期間を変えて同じ集計を出し直しても、差が残るか

チェックリストの3番目は特に効果的です。本物の改善であれば、多くの場合、セグメントをまたいで同じ方向に効果が見られます。

一つのブラウザや一日だけに差が集中しているなら、施策よりも計測や環境の問題を先に疑うべきでしょう。

「最初だけ勝つ」結果にも注意する

リリース直後だけ大きな差が出て、日を追うごとに縮んでいくパターンもあります。これは計測ミスではなく、目新しさに反応した一時的な行動変化であることが多く、新奇性効果として知られています。

このケースでは、データ自体は正しくても、効果の大きさを長期の見込みとして扱うと誤った判断になります。トワイマンの法則は、こうした時間的な歪みに目を向けるきっかけにもなります。

日々のレポートやダッシュボードでの使い方

トワイマンの法則はA/Bテスト専用の道具ではありません。週次のKPIレポートや経営会議の資料でも、同じ構えが役に立ちます。

驚いたら、まず「何が変わったか」を聞く

数字が急に動いたとき、最初に確認したいのは施策ではなく計測環境の変更履歴です。サイトのリリース、タグマネージャーの更新、広告キャンペーンの開始、ツールの設定変更などを時系列で並べると、数字の変化と同じ日に何かが起きていることがよくあります。

この習慣を支えるために、リリースノートや設定変更をダッシュボードの注記として残しておくと便利です。後から誰が見ても、変化の時点で何があったかをたどれるようになります。

集計値から個別の行動へ降りる

集計された数字だけを眺めていても、誤りの正体はなかなか見えません。急増したイベントを実際に発生させた訪問者を何人か取り出し、その行動を時系列で追うと、同じ秒に同じイベントが2回並んでいる、人間とは思えない速さでページを移動しているといった異常にすぐ気づけます。

MonaLensのように、訪問者ひとりの行動を時系列で追えるN1分析の機能があるツールなら、こうした確認を集計画面から数クリックで行えます。集計と個別を往復することが、異常値の原因を素早く特定する近道です。

普段の揺れ幅を知っておく

驚きを正しく感じ取るには、まず普段の数字がどれくらい揺れるものなのかを知っておく必要があります。曜日による差、月末や連休の影響、広告配信の強弱など、平常時の変動幅を把握していないと、ただの揺らぎを異常と誤解したり、逆に本物の異常を見過ごしたりします。

実務では、過去数週間の同じ曜日の値と比べる、前年同期と比べるといった簡単な比較から始めるのがおすすめです。平常時の揺れ幅という物差しがあってはじめて、どの数字が本当に面白いのかを判断できるようになります。

この物差しを自動のアラートに組み込んでおけば、人が毎日ダッシュボードを眺めなくても、揺れ幅を大きく外れた日に気づけます。アラートが鳴ったら、まず変更履歴と計測の健全性を確認するという流れを決めておくと、トワイマンの法則が自然と日常の習慣になります。

疑う相手を間違えない

ここで一つ注意があります。トワイマンの法則は良い結果を出した人を疑えという意味ではなく、疑う対象は人ではなく、データの通り道です。

検証を人の能力や誠実さの問題にしてしまうと、メンバーは驚く結果を報告しなくなります。検証は誰の結果にも同じように適用される手順として運用することが、チームの信頼を保つうえで欠かせません。

疑いすぎの副作用と、バランスの取り方

一方で、何でも疑っていては何も決められません。トワイマンの法則にも、使いすぎによる副作用があります。

本物の発見を見逃すリスク

驚く結果の多くは誤りですが、すべてではありません。検証を十分に行ったうえで結果が残るなら、それは本物の発見である可能性が高まります。

大切なのは、疑いを結論ではなく検証の起点として扱うことです。チェックを通過した結果は、むしろ自信を持って共有してよいものです。

検証の重さを結果の大きさに合わせる

すべての結果に同じ重さの検証をかける必要はありません。変化の大きさと、判断を誤ったときの影響の大きさに応じて、検証の深さを変えるのが現実的です。

表の2行目と3行目が同じ扱いになっている点に注目してください。良い驚きと悪い驚きを同じ重さで疑うことが、この法則を公平に運用するコツです。

再現できるかどうかが最終判断

最も強い検証は、もう一度試して同じ結果が出るかどうかです。期間をずらす、対象の割合を変える、別のページで試すといった再現実験で効果が残るなら、それは偶然や不具合では説明しにくくなります。

時間やトラフィックに余裕がないときは、少なくとも過去のデータで同じ傾向が見られないかを確認するだけでも、判断の確度は大きく上がります。

まとめ：驚きは発見ではなく、検証の合図

トワイマンの法則は、面白すぎる数字はたいてい間違っているという、シンプルながら強力な経験則です。成熟したプロダクトでは本物の大改善が珍しく、計測や集計の誤りは頻繁に起きるため、驚く結果を見たときは誤りの可能性を先に疑うのが合理的です。

運用のポイントは三つあります。驚きの基準を事前に決めること、良い驚きも悪い驚きも同じチェックリストで検証すること、そして疑う対象を人ではなくデータの通り道に置くことです。

次に数字が跳ねたときは、祝杯の前に一度だけ深呼吸をして、群の人数比とイベントの件数を確かめてみてください。その数分が、誤った意思決定を防ぐ最も安い保険になります。