新奇性効果（ノベルティ効果）とは？｜A/Bテストで最初だけ勝つ結果を見抜き、長期の効果を測る

A/Bテストで新しいデザインが大きく勝ち、自信を持って全員に公開したのに、数週間後に数字を見直すと、あの伸びはどこにも見当たらない。そんな経験はないでしょうか。

テストの手順に誤りがなかったとしても、こうしたことは起こります。原因としてまず疑うべきなのが、新奇性効果（ノベルティ効果）と、その裏返しである初頭効果（プライマシー効果）です。

この記事では、2つの効果がなぜ生まれるのか、結果の中からどう見抜くのか、そして長期の効果をどう測るのかを、PMやプロダクトマーケターが実務でそのまま使える形で整理します。

新奇性効果とは何か

新奇性効果とは、変更が良いからではなく、目新しいから一時的に反応が増える現象のことです。ユーザーは見慣れないボタンや新しい配置に気づくと、とりあえず触ってみます。

その好奇心は長くは続きません。慣れてしまえば反応は元の水準に戻り、テスト期間中に見えた伸びは消えていきます。

初頭効果は逆向きに働く

反対の動きをするのが初頭効果です。日本語では学習効果や変化への抵抗と呼ばれることもあります。

使い慣れた画面が変わると、ユーザーは最初とまどい、操作に時間がかかります。そのため新しい案は最初のうち負けているように見えますが、慣れるにつれて数字が追いつき、ときには逆転します。

どちらも時間とともに効果が変わる

2つの効果に共通するのは、テスト開始直後の結果が、長期の結果を代表していないという点です。A/Bテストは短い期間の行動から長期の影響を推し量る仕組みなので、時間で変わる効果はその前提を崩します。

実験の分野で定番の教科書とされるKohavi、Tang、Xuの『Trustworthy Online Controlled Experiments』（2020年）でも、新奇性効果と初頭効果は結果の一般化を妨げる代表的な要因として扱われています。違いを一度整理しておきましょう。

表のとおり、どちらも序盤の数字だけで判断すると誤ります。新奇性効果は偽の勝利を、初頭効果は偽の敗北を生むと覚えておくと整理しやすいでしょう。

実例：28%増えたクリックの正体

抽象論だけでは実感しにくいので、公開されている事例を1つ見てみます。Microsoftの実験基盤チームが公開しているPatterns of Trustworthy Experimentation: During-Experiment Stageという記事に、新奇性効果の典型例が紹介されています。

ボタンを差し替えたら数字が跳ねた

Microsoft Newsのホームページで、Outlookのボタンをメールアプリのボタンに置き換えるテストを行ったところ、そのボタンのクリック数が28%増加しました。一見すると、エンゲージメントが大きく伸びた魅力的な結果です。

しかしチームは、この数字をそのまま信じませんでした。指標を日付ごとに分けて見ると、メールアプリのボタンのクリック数は日を追うごとに急速に減っていたのです。

伸びの中身は戸惑いだった

調べてみると、ユーザーは新しいボタンに戸惑い、何度もクリックしていたことがわかりました。増えたクリックは満足の表れではなく、混乱の表れだったわけです。

同じ記事では、日付で分けた結果のなかで推定効果が急速に下がっていくことは新奇性効果の兆候だと述べられています。全期間を合計した1つの数字だけを見ていたら、この減衰には気づけなかったでしょう。

なぜ短期の結果は長期を外すのか

新奇性効果と初頭効果は、短期と長期のずれを生む代表的な原因です。ただし、原因はそれだけではありません。

1週間と2週間で答えが変わる

Microsoftの実験基盤チームは、External Validity of Online Experiments: Can We Predict the Future?という記事で、この問題を自社の大量の実験データで検証しています。7日間の結果が統計的に有意だった実験について、14日間の結果と比べたものです。

理論どおりなら、14日間の推定値が7日間の95%信頼区間の外に出るのは5%程度のはずです。実際には9%で外に出ており、本来0.3%しか起きないはずの3シグマの区間の外にも4%で出ていました。

学習効果だけでは説明しきれない

同じ記事は、新奇性効果と初頭効果を、時間とともに効果が変わる重要な原因として挙げつつ、それだけが原因ではないとも述べています。曜日や季節、外部の出来事、テスト期間中に来るユーザー層の違いなども結果を揺らします。

つまり、1週間で出た結果は、そのときのユーザーとそのときの状況での答えにすぎません。結果を未来にも当てはまる答えとして扱うなら、時間で揺れる前提を置いておく必要があります。

既存ユーザーほど影響を受けやすい

新奇性効果と初頭効果は、どちらも以前の画面を知っている人に起きる現象です。初めて訪れたユーザーにとっては、新しい案も古い案も等しく初めて見る画面なので、目新しさも戸惑いも生じにくくなります。

この性質は、後で紹介する見抜き方の重要な手がかりになります。誰にとって新しいのかを考えることが、時間による変化を読み解く第一歩です。

結果から新奇性効果を見抜く方法

では、手元のテスト結果に新奇性効果が混ざっているかどうかは、どう確かめればよいのでしょうか。代表的な見方は3つあります。

日付ごとに効果を並べる

最も基本的なのは、Microsoftの例と同じく日ごとの効果を時系列で並べることです。合計値だけでなく、1日ごとの差分（新しい案と元の案の差）を並べ、右肩下がりになっていないかを確かめます。

このとき、日ごとの数字は人数が少ないぶん大きくぶれます。1日だけ高い日や低い日があっても慌てず、全体として一方向に動き続けているかどうかを見てください。

新規と既存に分けて比べる

次に有効なのが、新規ユーザーと既存ユーザーに分けて効果を比べる方法です。新規ユーザーでは期間を通じて効果が安定しているのに、既存ユーザーだけ効果が縮んでいくなら、新奇性効果を強く疑えます。

逆に、既存ユーザーだけ序盤に大きく負けていて、その差が日ごとに縮んでいくなら初頭効果の可能性があります。新規ユーザーの結果は、慣れが落ち着いた後の姿を先取りして見せてくれることが多いのです。

初回接触日ごとのコホートで見る

もう一歩踏み込むなら、テストに初めて割り当てられた日でユーザーを束ね、その束ごとに効果の推移を追います。いわゆるコホート分析を実験に応用する形です。

同じ束のなかで、割り当てから日がたつにつれて効果が縮んでいくなら、それは慣れによる変化です。暦の日付ではなく割り当てからの経過日数で見ることで、曜日や外部要因の影響と慣れの影響を切り分けやすくなります。

ここまでの見方を、確認の手順として書き出すと次のようになります。

1. 日次の効果 = 新しい案の指標 − 元の案の指標 を日付順に並べる
2. 新規ユーザー / 既存ユーザー別に、同じ並べ方をする
3. 割り当てからの経過日数(0日目, 1日目, ...)ごとに効果を平均する
4. 判定の目安(説明用の仮定):
   - 既存ユーザーだけ効果が単調に縮む → 新奇性効果を疑う
   - 既存ユーザーだけ序盤に負け、差が縮む → 初頭効果を疑う
   - どの切り方でも横ばい → 時間による変化は小さい

なお、途中経過を何度も見ること自体には別の落とし穴があります。日付ごとの推移は効果の形を知るために見るものであり、途中で有意になった瞬間に止めるためのものではありません。

この点はピーキング問題の記事で詳しく解説しています。

テスト設計でできる対策

見抜き方がわかったら、次は最初からずれにくいテストを設計する番です。打ち手はいくつかありますが、それぞれにかかる手間が異なります。

期間を決め、最低でも1週間は回す

最初の対策は、テスト期間を事前に決め、それを守ることです。Microsoftの記事では、同社のA/Bテストの典型的な期間は7日間とされ、確かな動きが見えない限り、事前に決めた期間の終わりまで回すことが推奨されています。

1週間を最低ラインにする理由は、平日と週末で利用の仕方が違うからです。

そのうえで、ユーザーが同じ画面を何度も見る機能、たとえば毎日使う管理画面のナビゲーションなどを変えるときは、2週間以上に延ばして慣れた後の姿まで観察する価値があります。必要な期間はサンプルサイズの設計と合わせて決めましょう。

指標の選び方で影響を減らす

新奇性効果が最も出やすいのは、クリック数のような触っただけで増える指標です。28%増えたクリックの例が示すとおり、クリックは満足ではなく戸惑いでも増えます。

そこで、主指標はクリックではなく、その先にある成果（申し込みの完了や翌週の再訪など）に置くのが安全です。あわせて、壊してはいけない指標を見張るガードレール指標を用意しておけば、目新しさで主指標が膨らんでも、裏で体験が悪化していないかを確認できます。

新規ユーザーだけでテストする

変更が既存ユーザーの慣れに強く影響しそうなら、新規ユーザーだけを対象にテストするという手もあります。目新しさも戸惑いも起きにくいため、慣れが落ち着いた後の効果に近い値が得られやすくなります。

ただし、この方法には限界もあります。新規ユーザーと既存ユーザーでは目的も習熟度も違うので、新規で得た結果を既存ユーザー全体にそのまま当てはめられるとは限りません。

長期の効果を測る仕組み

テスト期間を延ばすにも限度があります。数か月先の効果を知りたいときは、テストが終わった後も測り続ける仕組みが必要です。

3つの方法の比較

先ほどのMicrosoftの記事では、長期の効果を確かめる方法として、リリースした機能を元に戻す逆向きの実験、新機能を一切出さない保留群（ホールドアウト）、そして期間を延ばした継続測定が挙げられています。それぞれの特徴を比べてみましょう。

どの方法にも費用がかかります。すべての変更に使う必要はなく、影響が大きく、長く残る変更に絞って使うのが現実的です。

ホールドアウトの考え方

ホールドアウトは、たとえば全ユーザーの数%を新機能の公開対象から外し、一定期間そのままにしておく方法です。公開した側と外した側の差を数か月追えば、目新しさが消えた後の累積効果を測れます。

規模の小さなプロダクトでは、保留群が小さすぎて差が雑音に埋もれることもあります。その場合は、保留群の割合を少し大きくする、期間を延ばす、対象を最重要の変更1つに絞る、といった調整が必要です。

計算例：見かけの効果と長期の効果

最後に、新奇性効果がどれほど判断を狂わせるかを数字で確かめてみます。以下の数値はすべて説明用の仮定です。

元のCVRが2.0%のページで、新しい案を2週間テストしたとします。1週目の新しい案は2.4%（相対で+20%）、2週目は2.1%（+5%）でした。

両週の訪問者数が同じだとすると、2週間の合計ではおよそ+12%の改善に見えます。

しかし、2週目の時点でもまだ下がり続けているなら、慣れが落ち着いた後の効果は+5%か、それ以下かもしれません。合計の+12%をもとに売上の増加を見積もると、見込みの半分以上が幻だったことになります。

まとめ：最初の数字を疑う習慣を持つ

新奇性効果と初頭効果は、どちらも時間とともに効果が変わる現象です。前者は効果のない変更を勝者に見せ、後者は良い変更を敗者に見せます。

見抜くための基本は、合計値だけで判断せず、日付ごと、新規と既存ごと、割り当てからの経過日数ごとに効果を並べてみることです。そのうえで、期間を事前に決め、触っただけで増える指標を主指標にせず、影響の大きな変更にはホールドアウトで長期の効果を確かめます。

MonaLensのようなCookieを使わない解析ツールでも、日付やページで区切ったファネルを並べれば、効果が日ごとに薄れていないかを確かめられます。大切なのはツールよりも、最初に見えた大勝ちほど疑ってかかるという姿勢です。

次にA/Bテストで大きな勝ちが出たら、公開ボタンを押す前に、日ごとの推移を1枚のグラフにしてみてください。その数分の確認が、数か月後に消える改善を本物の改善と取り違えるリスクを大きく減らしてくれます。