インクリメンタリティテストとは？｜広告の因果効果をホールドアウトで測る考え方

広告費を増やしても、成果が比例して伸びない理由

広告の管理画面を見ると、クリックもコンバージョンも順調に積み上がっている。それなのに、事業全体の売上を見ると、広告費を増やした分ほどには伸びていない。こうした違和感を抱えたことはないでしょうか。

この違和感の正体は、多くの場合たった一つの問いに集約されます。その広告は、本当に成果を生み出したのか、それとも、放っておいても起きていたはずの成果に乗っただけなのか、という問いです。

アトリビューションの実務｜完璧を諦めて意思決定に使うでは、どの接点に成果を配分するかという難しさを扱いました。今回はその一歩手前、そもそも広告が成果を増やしたのかどうかという、より根本的な問いを扱います。

この問いに答えようとする考え方が、インクリメンタリティです。増分、つまり広告があったことで純粋に増えた成果だけを取り出そうとする発想で、近年は大手の広告プラットフォームも独自の測定手法を用意するほど、実務の前提になりつつあります。

広告予算の配分に頭を悩ませているマーケターほど、この違和感を無視できません。管理画面の数字を疑うことは、担当チャネルの成果を否定することのように感じられ、なかなか踏み出しにくいテーマでもあります。

インクリメンタリティとは何か

インクリメンタリティを理解する近道は、日頃見ている数字が実は何を測っているのかを、一度疑ってみることです。

相関を追いかけると起きること

広告を見た人のうち何%が購入したか、という数字は相関を示しているにすぎません。もともと購入する気満々だった人に広告が偶然表示されただけでも、この数字は高く出てしまいます。

指名検索広告がその典型です。すでに社名やサービス名を知っていて、まさに検索しようとしていた人に広告が表示されれば、広告が無くても起きていたはずの流入までもが、広告の成果として計上されてしまいます。

つまり相関ベースの指標は、広告が無かったらどうなっていたかという比較対象を持っていません。この比較対象のことを、統計の世界では反実仮想と呼びます。

反実仮想を持たない指標は、良くも悪くも常に楽観的な数字を返します。広告を見た人の成功だけを数え、広告が無くても同じ選択をしたはずの人を差し引く仕組みが、そもそも組み込まれていないからです。

ラストクリックが見誤るもの

多くの計測ツールが採用するラストクリックという考え方は、最後に接点を持ったチャネルに成果を全部割り当てます。この割り当て方自体は運用しやすい反面、因果関係を証明しているわけではありません。

ダークファネルとは？｜計測できない検討プロセスとどう向き合うかで扱ったように、購入の意思決定の多くは計測できない場所で進みます。ラストクリックは、その見えない検討の最後の一押しだけを、都合よく切り取っているにすぎないのです。

インクリメンタリティテストは、この切り取りをやめ、広告を見せた集団と広告を見せなかった集団を用意し、両者の成果の差だけを広告の効果として扱おうとする発想に立ちます。相関ではなく因果を問う、という一歩がここにあります。

代表的な測定手法

考え方はシンプルでも、実際の測り方にはいくつかの型があります。代表的な二つを見ていきましょう。

ホールドアウト実験

もっとも直接的な方法が、ホールドアウト実験です。広告を配信する対象者の一部を無作為に選び、その人たちにだけ広告を見せず、公共広告などの無害な代替コンテンツを表示します。

広告を見た集団と、意図的に見せなかった集団を、その後の購入率で比較します。この二つの集団は無作為に分けられているため、年齢や興味関心といった性質は平均的にそろっており、差が出たとすれば広告のおかげだと言いやすくなります。

主要なSNS広告プラットフォームは、この考え方に基づく機能をアカウント単位で提供しており、広告主が自分で対照群を用意しなくても、比較的手軽に実験を組めるようになっています。無作為化そのものをプラットフォーム側が担ってくれる点が、この手法の扱いやすさを支えています。

ジオ実験という代替

会員登録などブラウザ単位で追いにくい業種や、店舗への来店のようにオフラインの成果を含む業種では、個人単位のホールドアウトが組みにくいことがあります。

そこで使われるのが、地域単位で広告の出し分けを行うジオ実験です。ある地域では広告を配信し、性質の近い別の地域では配信を止め、地域全体の売上の伸びを比較します。

この手法は検索広告大手の研究チームも学術論文として発表しており、広告効果測定の分野で広く参照される手法のひとつになっています。個人を追跡しないため、Cookieやアプリのトラッキング制限の影響を受けにくいという利点もあります。

一方でジオ実験には、地域の選び方そのものに難しさが伴います。人口構成や季節性が似た地域同士を組み合わせないと、広告以外の要因で差が出てしまい、結果の解釈を誤ってしまうからです。

両者の違いを整理すると、次のようになります。

十分なサンプルという制約

ここで見落とされがちなのが、統計的に意味のある差を検出するには、それなりの規模のサンプルが必要になるという制約です。

コンバージョン数がもともと少ない事業では、対照群と比較群の差が偶然の範囲に埋もれてしまい、実験をやってもはっきりした結論が出ないことがあります。差が本物か偶然かを見分けるには、ある程度の母数が要るのです。

だからこそ、インクリメンタリティテストは広告費や成果件数がある程度の規模に達してから検討するのが現実的だと、多くの実務家が口をそろえます。規模が足りないまま実験を急いでも、結論の出ない数字を眺めるだけに終わりがちです。

実験結果を長く使う工夫

もう一つの制約は、実験自体に手間とコストがかかるため、頻繁には繰り返せないという点です。この制約への対応として、広告予算全体の配分を統計モデルで推定するマーケティング・ミックス・モデリング(MMM)という手法と組み合わせる動きが広がっています。

MMMは、テレビや新聞といったオフライン広告の時代から使われてきた、売上の変動を複数の要因に分解する統計的な手法です。単独でも使えますが、モデルが導き出した数字の答え合わせとして、インクリメンタリティ実験の結果を組み込むことで精度を高めるという使い方が近年広がっています。

つまり実験は、一度きりの答えを出すためのものではなく、日々の推定モデルを定期的に校正するための材料として位置づけるのが、実務的にはうまくいきやすい発想だと言えます。

自社でも取り入れられるのか

ここまでの話を聞くと、自社には縁がない大企業向けの手法だと感じるかもしれません。実際にはどうなのでしょうか。

大規模実験が必要になる理由

厳密なホールドアウト実験やジオ実験は、対照群を作るために一定の配信量を意図的に減らす必要があります。配信量がもともと小さい事業では、この減らし方自体が難しく、実験の設計そのものが成立しにくくなります。

また実験期間中は、通常より成果が読みにくくなる期間を受け入れる必要があります。これは短期的な売上目標を追う組織にとって、心理的なハードルにもなります。目先の数字を犠牲にしてでも本当のことを知りたいかという、組織としての覚悟が問われる場面でもあります。

小規模事業者の代替アプローチ

とはいえ、厳密な実験を組まなくても、インクリメンタリティという考え方自体は取り入れられます。たとえば、特定の広告チャネルを意図的に1〜2週間だけ停止し、その前後で全体の成果がどう動くかを観察するという簡易な方法があります。

以下は説明のための仮の例で、実在の統計ではありません。ある指名検索広告を2週間停止したところ、全体のコンバージョン数がほとんど変わらなかったとします。この結果は、その広告費の多くが本来なら無くても起きていた成果に乗っていた可能性を示唆します。

簡易な前後比較の考え方(仮の例)
停止前2週間の全体CV数: 500件
停止後2週間の全体CV数: 480件
差: 20件(4%減)
→ その広告チャネルの真の貢献は、管理画面上の成果より小さい可能性

この簡易な方法は、ジオ実験ほど厳密ではありません。季節性やキャンペーンの重なりなど他の要因を意識しながら見る必要はありますが、広告費の見直しに着手する最初の一歩としては十分に機能します。

こうした検証と、既存の施策を一つずつ試していく姿勢は、A/Bテストの始め方｜ノーコードで検証する手順と注意点で扱った実験の考え方と地続きです。対象がUIか広告出稿かが違うだけで、対照群を用意して差を見るという骨格は同じだと捉えると理解しやすくなります。

MonaLensのようなCookieに依存しない解析ツールは、この種の大規模な広告実験そのものを実行する仕組みではありません。ただし、広告を止めた前後でファネルの通過率やCVR全体がどう動いたかを追う土台としては活用できます。停止期間中に離脱がどこで増えたのかまで見えれば、広告の貢献が本当はどこにあったのかという仮説も立てやすくなります。

一人で事業を回すチームこそ向いている面もある

意外に思われるかもしれませんが、簡易な前後比較という手法自体は、意思決定者が一人しかいないような小さなチームのほうがむしろ実行しやすい面があります。

複数の部署をまたいで停止の合意を取る必要がなく、今週このチャネルを止めてみようという判断をその場で下せるからです。大企業ほど、社内調整の負荷が実験そのものの障壁になりがちです。

もちろん、停止している間の売上の落ち込みを許容できる資金的な余裕は必要です。試すなら、広告依存度が低いチャネルや、影響が小さいと予想される期間を選んで始めるのが無難です。

導入するかどうかの判断基準

インクリメンタリティテストに時間と労力をかける価値があるかどうかは、事業のフェーズによって変わります。判断の目安を整理しました。

広告のROIを上げる｜LPとファネルで「無駄打ち」を減らすで扱った無駄打ちの多くは、実はチャネル間の配分そのものの歪みに起因していることがあります。インクリメンタリティという視点を一つ加えるだけで、その歪みに気づける場面は少なくありません。

判断に迷ったときは、まず一番疑わしいチャネル一つだけで試すことをおすすめします。全チャネルを一度に検証しようとすると、実験の設計も解釈も複雑になり、途中で挫折しやすくなるからです。

よくある落とし穴

インクリメンタリティテストは、考え方自体はシンプルなのに、運用に乗せる段階でつまずく組織が少なくありません。共通して見られる落とし穴を挙げておきます。

• 実験期間が短すぎて、季節要因や偶然の変動と区別がつかない
• 対照群の規模が小さすぎて、差が統計的な誤差の範囲に埋もれる
• 一度の実験結果を、期間や条件を変えても常に成り立つ普遍の真実だと思い込む
• 実験で「効果が小さい」と分かったチャネルの予算を、感情的な理由で減らせない
• 実験期間中に他のキャンペーンや値引きを同時に始めてしまい、要因が混ざる

いずれも、一度の実験で全てが決まるわけではないという前提を忘れることから起きています。インクリメンタリティは、継続的に検証し続けることで初めて意味を持つ考え方です。測って終わりではなく、測り続けることそのものが実務上の本体だと考えておくとよいでしょう。

特に最後の落とし穴は見落とされがちです。実験期間中はチャネルの停止という変数以外を極力動かさないという規律が、結果の信頼性を大きく左右します。担当者が良かれと思って始めた別の施策が、せっかくの実験結果を台無しにしてしまうことも珍しくありません。

まとめ

インクリメンタリティテストは、広告が本当に成果を生んだのかを、対照群との比較によって確かめようとする考え方です。相関に基づく指標がどうしても抱えてしまう、広告が無かったらどうなっていたかという反実仮想の欠落を、実験という形で埋め合わせます。

厳密なホールドアウト実験やジオ実験は、一定の規模がなければ成立しにくい手法です。それでも、特定チャネルを意図的に止めて前後を比較するという簡易な発想であれば、多くの事業がすぐにでも試せます。

大切なのは、管理画面の数字をそのまま信じるのではなく、その数字の裏に反実仮想が存在するかどうかを、一度立ち止まって疑ってみる姿勢です。広告費の配分を見直す一歩は、その小さな疑いから始まります。

管理画面の数字が示す成果と、事業全体の伸びとの間にギャップを感じたとき、それは失敗のサインではなく、測り方を一段深める好機だと捉え直してみてください。原因を決めつける前に、まず小さな実験で確かめる。この順番を守るだけで、広告予算の使い道は着実に磨かれていきます。