施策において望むような結果が出なくても、チャネルのせいにしてはいけない。昔からある信頼できるこのツールを、常に磨かれた新しい状態にしておいてほしい。
eメールマーケティングの大きな問題に直面している新しいクライアントと仕事を始める際に、いつも最初に見直すものの一つは「eメールテストをどう行っているか」である。
A/B/nテストは、効果的なキャンペーンを構築し、ブランドのeメール戦略と戦術が成功しているか失敗しているかを測定できる最善の方法だ。しかし、多くの場合、チームはテストを正しく設定し結果を精密に測定することに必死になっている。そうすると、たいていの場合、効果的なeメール実験ができずに残念な結果になる。
信頼性の欠けているテストプログラムでは、選んだ戦略と戦術が機能しているか失敗しているかがわからない。eメールの取り組みにおいて、望む結果が得られないのをeメールチャネル自体のせいにしてはいけない。その代わりに、テストと結果の測定方法を見直すべきである。
テストにおける7つの一般的な問題とその修正方法
これらの問題は、クライアントとの仕事でよく起こることだ。これらの課題を解決するために、考え方を完全に変えなければならないときもある。また、テストの正しい設定方法を学ぶだけで、目下の問題の多くを解決することができる場合もある。
それがテストの良いところだ。それぞれの問題には、修正する方法がある。テストによって問題を解決するたびに、eメールプログラムを正しい道へ導くさらなる一歩を踏み出すことになるのだ。
1. 仮説を立てないテスト
多くのeメールマーケターが、メールサービスプロバイダ（ESP）が提供するツールを使ってテストの基本を学び、主に、件名などのシンプルな機能に関する基本的なA/Bテストを設定している。
しかし、その場の１回限りのアプローチは、地図の見方を知らないまま車の運転を覚えるようなものだ。車は上手に運転できるだろう。だが、なるべく渋滞を避けて、遠回りをしないで目的地に行く計画を立てるには、地図を読むスキルが必要だ。
そう、Googleマップに計画をまかせてもよい。しかし、自分で提供するものと他のソースから取得するすべてのデータを正しく並べる必要がある。目的地を間違って入力したり、電波が通じないところを走行したりすれば、目的地から何キロも離れてしまうことがある。
これが、テストを行わない、あるいはテストが正しく実行されなかった場合に、eメールプログラムに起こることなのだ。仮説は、テストにおけるロードマップである。そして、何が起こるかを想定し、変数、テストセグメント、成功指標、結果の利用方法などを選択する指針となるものだ。
2. 間違ったコンバージョン計算の利用
これはカスタマージャーニーとテストの目的に関係する。
ウェブサイトのランディングページ上で標準的なA/Bテストを行う場合、ページのコンバージョン率を確認するために「トランザクション/ウェブセッション」をコンバージョン計算として用いることが多い。これは顧客がどのような経路でそのサイトに辿り着いたのかがわからないため、それまでに起きたすべてを無視して、ジャーニーのこの特定部分を重視することは理にかなっている。
eメールでは、顧客がeメールからランディングページへ来る過程がわかっている。それを踏まえて最適化すべきである。eメールのコンバージョン率を把握するためには、コンバージョンの計算に「トランザクション／配信済eメール」を使う必要がある。これは、eメールジャーニー全体を考慮したもので、ランディングページへのコンバージョン数だけを見るものではない。
これらの２つクライアントの例でわかるように、コンバージョンは、開封とクリックが意味するものに従う。マーケターはより高いパーセンテージをもたらすため、虚栄心から「ページセッション／購入」を計算に使用する。しかし、それは間違った結果を最適化する可能性があることを意味する。
通常のキャンペーンでのセグメントのテスト
従来のコンバージョン計算：製品/セッション
A（従来のセグメント）
B（新しいセグメント）
従来のセグメンテーションが8%上回る
新しいコンバージョン計算：製品/配信済eメール
A（従来のセグメント）
B（新しいセグメント）
新しいセグメンテーションが24%上回る
自動化プログラムのテスト
従来のコンバージョン計算：製品/セッション
長く詳細な
簡略化
長く詳細な方が15%上回る
新しいコンバージョン計算：製品/配信済eメール
長く詳細な
簡略化
簡略化の方が27%上回る
3. 間違った指標で成功を測定する
実行可能なテスト計画には、正確に成功を測定するための適切な指標が必要だ。間違った指標は結果の水増しや、縮小をもたらす可能性がある。その結果、勝者ではなく負けたバリアントに最適化するように導かれてしまう。
例えば、開封率は、HTMLメールの黎明期にその使用方法を学んで以来、一般的な成功指標となっている。しかし、特にAppleのMail Privacy Protection（メールプライバシー保護）機能がキャンペーンの真実の開封率を覆い隠してしまう現在では、欠陥があり信用できない指標である。ただし、開封率が常に正確に計算されたとしても、必ずしも正しい指標ではない。
例えば、クリック数は、より正確なエンゲージメントの指標だが、キャンペーンでどれくらいの収益を生み出せたかはわからない。クリック数を稼ぐことだけが目的であれば、クリック率を使えばよい。しかし、キャンペーン収益を成果とする場合、購入回数や１回あたりの購入額など収益指標を使う必要がある。
4. 統計的有意性のないテスト
テスト結果が統計的に優位であれば、それは、テストグループ（変更されていないコントロールグループと異なる行動喚起や件名のような変更したものを受信したグループ）の差が、偶然やエラー、数えきれない事象によって起こったものではないことを意味する。
母集団のごく一部しかテストできなかったか、必要な時間をかけてテストが実行できず、少数の結果しか得られなかった場合は、優位差が十分確認できない可能性がある。そのため、できるだけ長く実行し（自動化の場合）、統計的に優位なサンプルの数に到達する必要がある（キャンペーンの場合）。
多くのテストで、5%の有意差係数が使用される。これは、変数がテストの100件のうち少なくとも95件に違いをもたらし、残りの5件はランダムである可能性があることを意味する。
統計的優位性がない結果は、誤った結論の推測を導き、テスト結果とキャンペーンの結果両方を間違って解釈する可能性がある。95%の統計的有意性を達成することは、実際には差がないにもかかわらず、差があると結論づけるリスクが5%あることを意味する。
5. 1つのテストにとどまる
哲学者のヘラクレイトスは、「誰も同じ川に二度足を入れることはない。なぜなら、川は常に変化しており、人も常に変化しているからだ」と言った。
同じことはeメールキャンペーンにも言える。加入者ベースでは、常に新規加入者は増え、古くからの加入者は去っていく。そして、顧客は全てのキャンペーンにいつも同じように反応するわけではない。一度はうまくいったキャンペーンが次は反応が薄いこともあるのだ。
1つのテストしか実行せず、その結果をその後すべてのキャンペーンに適用すると、これらの微妙とはいえ重要な変化を見逃すことになる。すべてのキャンペーンにテストを組み込み、例外を除外するためには、すべてを複数回テストする必要がある。
これにより、オーディエンスの一般的真実を学び、態度や行動の重要な変化を知るために参考にすべき傾向がわかる。これらを利用して、キャンペーンのアプローチを微調整したり、見直しをするべきだ。
6. キャンペーン内の1つの要素しかテストしない
件名テストは、一般的におこなわれている。これは主に、多くのeメールプラットフォームがA/B件名テストをプラットフォームに組み込んでいるためだ。良いスタートではあるが、必要な情報の一部分しか得られず、しばしば誤った方向へ向かってしまう。開封率において成果をあげる件名は、必ずしもキャンペーンでの目標達成を予測できるものではない。
これが、単一チャネル、1回限り、単一変数のテストを超えるホリスティックテストという手法を開発した理由の1つである。
ホリスティックテストの一部として用いることができる、動機に基づく仮説の例がある。適切な指標（コンバージョン）を指定し、件名、見出し、コピーブロック、行動喚起、ランディングページなどコピー関連の要素を取り込む。
「多くの研究で、人々が利益を得ることよりも、損することを嫌うことがわかっているので、損失回避のコピーは利益誘導型のコピーより多くのコンバージョンを生み出す」
変数の変更が仮説をサポートする限り、複数の変数を利用することで、テストがよりしっかりしたものになる。多変量テストとの違いは、すべての変数が仮説をサポートしていること、そして何が効果的だったか明らかになったときに、学んだことを適用できることだ。
7. 学んだことをeメールの改善に利用しない
単一のキャンペーンでどうなるかを確認したり、好奇心を満たすためにテストするのではない。プログラムがどう機能するか、何を改善できるかを見つけるために、現在、そして長期的にテストするのだ。目標を達成するのに役立つことに費用を費やしているかどうかを判断するためにテストするのだ。
別のマーケティングチャネルにも適用可能なオーディエンスの傾向や動きを発見するためのテストを実行する。なぜなら、eメールのオーディエンスは、小さな世界にいる顧客集団だからだ。テスト結果をeメールプラットフォームやチームのノートに眠らせておくのはやめよう。
eメールキャンペーンを改善するためのテストの行動計画は以下の通り。
1. 何を期待するのか、なぜ期待するのか、どのように成功を測定するのか、仮説を立てる。
2. 定められたテスト計画にそって正確に結果を報告する。
3. 結果（コンバージョン、収益、ダウンロード数、登録数、完了したプロセスなど）を測定する適切な指標を選ぶ。
4. 有意差テストを通過するのに十分な結果を出せるだけのテスト期間（自動化の場合）、または実行するテストの数（キャンペーンの場合）を設定する。
5. 結果を分析し、結論を記載し、これからのキャンペーンを推奨する。
6. eメールマーケティングプログラム内と必要に応じた他のチャネルの両方で、結果を行動に移す。
7. テストプロセスを洗練し、繰り返しテストし、分析し、実装するサイクルを継続することで改善する。
テストは今まで以上に重要だ。準備はできているか。
新型コロナウイルスのパンデミックは、eメールマーケターの顧客に関する知識を根底から覆した。2020年には、キャンペーンに対する顧客の反応から、顧客が望むこと、変わったこと、変わらないことを発見するためにテストを行う必要があった。
パンデミックは多くの地域で落ち着きつつあるが、他の地域では再び脅威が増す恐れがある。テストによって新しい変化を先取りし、それらのインサイトをすぐに活用することができるのだ。これにより、顧客にとって適切で価値のあるeメールプログラムを維持し、企業が成功を収めるための信頼できるツールとして、eメールはその存在感を高めている。
先ほど、eメールデータベースは顧客基盤の縮図であると述べた。正確なテスト結果は、顧客の考えや動機の変化を明らかにし、ソーシャルメディア、ウェブサイト、SMSマーケティング、さらにはオフラインのダイレクトマーケティングのテストや更新に活用することができる。
マーケティングツールの中で、eメールほど汎用性が高く、費用対効果に優れ、適応性の高いツールは他にないと考えている。正確かつ最新のテストを行うことで、この古くから信頼されているツールは常に煌々と輝いているのだ。