テスト結果を歪める認知バイアスを発見し、排除することで、より正確で、データドリブンなメールマーケティングの意思決定が可能になる。
私たちは「認知バイアス」について、「人が情報を処理し、意思決定を行う際に使用する心理的ショートカット」だと考えている。あなたはおそらく、顧客を説得しコンバージョンに導くために、メールのコピーやデザインにこうした手法（例：損失回避、取り逃がす恐れ、社会的証明）を使用していることだろう。
これらは、顧客があなたの望むことをする可能性を高めるための認知バイアスのポジティブな使い方である。しかし、認知バイアスがメールテストプログラムに忍び込み、テスト構築や結果を歪めてしまうと、逆効果になる可能性がある。
このようなバイアスを認識し、回避することを学ぶことで、より信頼性の高い、データドリブンなテストを行うことができ、より魅力的で効果的なメールメッセージや、より強力なプログラム全体を作成するためのインサイトを得ることができる。
バイアスがA/Bテストに与える影響
A/Bテストはメールマーケティングプログラムの重要な要素である。それは、顧客の行動を理解し、効果のない施策でリソースを無駄にしないようにするのに役立つ。
しかし、A/Bテストは完全ではなく、A/Bテストによって得られるデータも完全ではない。私はデータ主導の意思決定を信条としているが、仮説の構築、オーディエンスの選択、タイムラインの選択、データの解釈によってバイアスが入り込む可能性がある。
私たちは意図的に偏ったテストを作成することはないが、認知バイアスは無意識のうちに働いている。私たちは皆人間であり、完璧な人間などいないのだ。
A/Bテストに影響を与えうる4つの一般的な認知バイアス
これらのバイアスは、私が以前書いた、以下のMarTechの記事を読んだことがある方なら聞き覚えがあるかもしれない。
●「認知バイアスはどのようにメールエンゲージメントを形成するか」
●「完璧な組み合わせ： 無敵のA/Bテストのための生成AIと説得戦略」
ここでは、これらのバイアスが、テストの取り組みを誤った方向に導く可能性があるかについて説明する。それぞれのバイアスを紹介し、問題を説明し、偏りのないテストのためにどのように認識し、対処すべきかを解説しよう。
最初の2つのバイアスは、私たちの考え方やメールプラットフォーム内のテストツールでは気づきにくいため、克服するのが最も難しい場合がある。
1.確証バイアス
「確証バイアス」は、認識して修正するのが最も難しいものの 1つである。これは、長年抱いてきた信念と、自分が間違っていることを認めたくないという気持ちに関係している。
テストにおける確証バイアスの有用な定義は次のとおりである。
「確証バイアスとは、自分の仮定、先入観、仮説が実際に、独立して真実であるかどうかに関係なく、それを裏付ける情報を好む傾向のことである。」
仮説の例
●以前のキャンペーンでパーソナライゼーションを使用したところエンゲージメントが上昇したため、パーソナライズされた件名は、常に一般的な件名よりも開封率が高い。
これは、パーソナライズがエンゲージメント増加の原動力ではない可能性や、オーディエンスセグメントによって異なる反応が示される可能性を考慮していないため、偏りがある。
回避方法
中立的にテストを組み立て、発見に焦点を当てよう。
●パーソナライズされた件名（例：「ジョン、あなただけの限定オファーです！」）を使用する場合と、パーソナライズされていない件名（例：「限定オファー付き！」）を使用する場合とでは、開封率に影響があるが、パーソナライズがより深いエンゲージメントに影響を与えるかどうかを判断するためにクリックスルー率も分析する。
これは、パーソナライズだけがエンゲージメント向上の原動力であると想定しておらず、テスト範囲を他の要因にまで拡大しているため、偏りがない。
2. プライマシーバイアス
このバイアスは、初期のテスト結果が意思決定に影響を与える場合に発生する。たとえば、10%の票しか集計されていない状態で選挙を行うようなものだ。個人的な信念から生じる確証バイアスとは異なり、プライマシーはテストツールによって強化される。これについては後で説明しよう。
バイアスの例
●A/Bテストの勝敗は、最初の4時間以内に決定される。開封率が最も高くなるのは、常に送信直後だからだ。
回避方法
通常、最大のコンバージョンが得られる時間に基づいて、最小のテスト期間を設定する。顧客が住んでいる場所など、特にタイムゾーンや国境を越える場合には、他の要因も影響しうる。より広範なリスト、検討により長い時間がかかるオファーや製品、顧客ベースが多様化している場合は、テストを長く実行する必要がある。
●顧客のエンゲージメントの反応や行動パターンが遅い場合があるため、最初の24時間以内でどちらが優れているかを決定してしまうよりも、7日後に結果を測定する方がA/Bテストのパフォーマンスをより確実に把握できる。
このアプローチにより、結果の解釈に最も幅広い範囲の応答が含まれることが保証される。
ESP（メールサービスプロバイダー）ベースのテストツールは、しばしば「10-10-80」メソッドによってプライオリティバイアスを強化する。あなたのプラットフォームにテスト機能が含まれている場合、この手法またはそのバリエーションに従っている可能性が高い。
●オーディエンスの10%がコントロールメッセージを受け取る
●オーディエンスの10%がコントロールメッセージを受け取り、残りの10%がバリアントメッセージを受け取る
●プラットフォームは自動的に勝者を選択し、数時間以内に残りの購読者に送信する
ただし、10-10-80方式では、2～24時間以内に勝者を送信することを前提としている。そのため、特にキャンペーンの送信後7日経ってからほとんどのコンバージョンが完全に達成される場合、不正確な結果に基づいて決定を下すことになる。50-50の分割の方が正確である可能性が高い。
3.現状維持バイアスや親近性バイアス
これらのバイアスにより、私たちは新しい可能性を模索するよりも、知っていることにこだわるようになる。
「現状維持バイアス」は、変更によってエンゲージメントやコンバージョンが向上する可能性がある場合でも、変更を控えてしまう。テストでは、顧客に対する理解を再構築できる実験ではなく、ボタンの色や件名などの小さな調整に重点を置くことがよくある。
「親近性バイアス」は、未知への不安により、あまり馴染みのないオプションの方が効果的である場合でも、信頼できると感じるものを優先してしまう。
バイアスの例
●感情に焦点を当てた母の日の「件名」は、節約に焦点を当てた件名よりも多くのクリックを生み出すだろう。研究によると、強い感情的つながりのあるイベントと関連付けられると、感情はより効果的に働くことがわかっているからである。
回避方法
このテストは、技術的には許容範囲内だが、十分ではない。件名への注目と受信者のクリック意欲を結び付けるには不十分である。範囲を広げて、より深い理由を探ってみてはどうだろう。
メッセージプランの大幅な変更の可能性をテストするのはリスクの高い提案だが、現状維持と慣れ親しんだ状態を好むからといって、以下を試してみるのを止めないでほしい。
●母の日の感情に焦点を当てた「メールメッセージ」は、節約に焦点を当てたメールメッセージよりも多くのクリックを生み出すだろう。研究によると、強い感情的つながりのあるイベントと関連付けられると、感情はより効果的に働くことがわかっているからである。
件名、画像、CTA（行動喚起）、本文などの複数の要素が含むより幅広いテストは、科学的なA/Bテストフレームワーク内でもまだ可能である。それは、「お金を節約する」いう1つのコンセプトを他のものと比較してテストしているからだ。
これは、当社の総合的なテスト方法論の重要な側面である。このアプローチは、単に1つの件名を別の件名と比較してテストするだけではない。顧客の行動を本当に促すものを明らかにするためのものである。得られた洞察は、オーディエンスに関する貴重な情報を明らかにし、テスト以外の将来の取り組みに役立てることができる。
4.回帰性バイアス
回帰性バイアスとは、過去に実施したテストや異なるテスト環境で学んだことよりも、最近のパフォーマンスデータの傾向を過大評価してしまうことを指す。これにより、それが適切かどうかわからないまま、メールマーケティングプログラム全体の結果を一般化してしまう危険性がある。
バイアスの例
上記の損失回避の例で作成した、母の日のメッセージに対する動機に焦点を当てたテストを考えてみよう。件名の枠を超えてフォーカスを拡大する修正を加えたとしても、感情的な訴えが、いつもの「お金を節約する」という、より合理的な訴求に勝ると仮定するのは間違いである。
そのテストを母の日の前日に実施したとしよう。確かに、節約は感情よりも多くのクリックを生むかもしれない。しかし、それは子どもたちが、母親との感情的なつながりよりも、コスト意識の方が強いことを意味するのだろうか？それとも、先延ばしにしている購読者の不安が動機になっているのだろうか？
しかし、この例で感情が勝者であったとしても、その調査結果をメールプログラム全体に適用できるわけではない。感情的なつながりを利用すれば、新学期セールを大々的に宣伝しても同じようにうまくいくと考えるのは大きな間違いである。
回避方法
マーケティングカレンダーイヤー中に、感情的な要素を除いたこの仮説の修正バージョンを数回実行し、感情を伴う休日や特別なイベントを、テスト期間から除外しよう。
バイアスに強いA/Bテストの設計方法
自分にはこのような無意識のバイアスがある、ということを認識することが、A/Bテストでバイアスを避けるためにできることをすべて行うための第一歩である。
オーディエンスの行動に基づいて中立的な仮説を立てる
これは、確証バイアスや回帰性バイアスのような問題を避けるのに役立つ。
構造化されたテスト手法を使用する
メールプログラムの目標に沿った、戦略に基づいたテストプログラムを行うことで、バイアスのようなその場しのぎのテストを避けることができる。以前のコラムでホリスティックテストの基本について説明した。ホリスティックテストの利点は、メールに特化して設計されていることである。
サンプルサイズ、データ収集のしきい値、テストウィンドウの設定
プライマシーバイアスやその他のバイアスが生じる可能性を減らすために、テスト計画に以下の考慮事項を組み込んでほしい。
テストの途中で結果を見直さない
これによって、正当なテストをしばしば破滅させたり、パニックに陥ったりする要因を避けることができる。もしかしたら、次のような場面を見たことがあるかもしれない。誰かが早とちりして、憂慮すべき結果を見て、早々に「中止」ボタンを押してしまうのだ。プライマシーバイアスについて述べたことを思い出し、初期の結果から悲惨なミスを招かないようにしよう。
メールキャンペーンをテストする場合は、統計的に有意になるまで待とう。自動メールテストの場合は、事前に決めた統計的に有意な全期間テストを行ってから結論を出そう。
自信を持って、バイアスなくテストする
テストを始めるのは敷居が高いかもしれないが、よく設計されたテストと統計的に有意な結果がより深い顧客インサイトを提供し、メールパフォーマンスを向上させるにつれ、やみつきになることだろう。
どんなに注意深くテストを構成しても、A/Bテストにバイアスはつきものである。しかし、バイアスの存在を認識し、自分のバイアスを理解し、しっかりとしたテスト構造に従うことで、その影響を最小限に抑え、結果に対する自信を深めることができるのだ。
