メールのA/Bテストに関して | Community
Skip to main content
April 11, 2017
Solved

メールのA/Bテストに関して

  • April 11, 2017
  • 5 replies
  • 639 views

お世話になっております。スプリックスの久保と申します。

現在、弊社のサービスにマルケトを導入し、少しづつ設定を行っております。

いつもこちらのコミュニティを影ながら参考にさせていただいております。ありがとうございます。

1点、皆様にご質問なのですが、

メールのA/Bテストについてですが、

現状のマルケトの仕様は、メールを指定した割合で最初にテストを行い、チャンピオンが決まった後に、

残りのリストに勝者クリエティブのメールを配信するシステムとなっております。

配信対象が多ければ現状のA/Bテストの仕様でもいいのですが、

配信対象者が少ないメールにおいては、配信対象を全体(100%)として50/50でスプリットテストし、

勝者に関しては次回のメルマガなどに活用するなど、ただのテストのみを行いたい場合もあります。

もちろん現状の仕様でも100%で配信することはできますが、

サポートに確認したところ、現状のシステムは100%に送信することを想定されていないため、

配信を100%に設定すると、配信数が割り切れない場合は配信されないユーザーが出てしまうそうです。

(配信対象を最初から偶数にすればいいという解決策はありますが、

設定時点で配信数を偶数に設定したとしても、配信前にリストの追加や配信停止などが発生する可能性もあるので

解決策としては難しいようです。)

もし、このようなメールのA/Bテストに関して

うちではこうやってますなど、アイデアや回避策などありましたら、

ぜひ、ご教授いただけますと幸いです。

ちなみに、こちらに関しては同様の改善のアイデアとしては投稿されているようですが、

2年前のアイデアとなっており、改善案としてはまだ入っていないようです。

A/B Testing  100% Audience - No Winner

https://nation.marketo.com/ideas/7070

This post is no longer active and is closed to new replies. Need help? Start a new post to ask your question.
Best answer by

仕様について補足で失礼します。

現在のメールプログラムにおけるABテストの仕様なのですが、

スケジュール設定した[テストの送信]と[勝者の送信]のタイミングでスマートリストを再度実行し、送信対象を再設定しております。

そのため、ブロック対象リードの増加や新規リードの登録などによりスマートリストの条件に合致するリード数が変動した場合、

50/50にしていても、プログラム設定時に送信対象となっていたリード数÷2に各々送信されるということにならないのです。

例えば、[テストの送信]と[勝者の送信]の間でスマートリストの条件に合致したリードが作成されたら勝者メールが届くなどが発生します。

5 replies

April 20, 2017

@Takehiro Masaki さん、ご返信ありがとうございます。

わざわざテストまで実施いただきありがとうございます!

99%で配信するという方法もあるんですね。参考になります。

たしかに配信漏れがあるくらいなら、1%にメールが送れるくらいは

目をつむってもいいのかもしれません。。。

自分も時間がとれしだい個人的にテストしてみたいと思います。

April 20, 2017

@悠香 松本 さんご返信ありがとうございます。

ランダムサンプルとても面白そうな機能ですね。

ご教授ありがとうございます。

日本の事例がなかったので海外のコミュニティをざっくりと見て調べてみたのですが、

https://nation.marketo.com/blogs/marketowhisperer/2015/09/17/some-tests-on-random-sample-behavior

上記で実際にランダムサンプルの挙動をテストしてくれている事例がありますね。

見た感じ、しっかりと分かれているようなのでテストでも使えそうな気がします。

ご教授いただいた方法ですが、私もあまり自信はないのですが、、、

おそらくランダムサンプルは、ランダムにリストに振り分ける機能であって、メールの送信のフローに直接使うことはできないのではないでしょうか?

おそらくランダムサンプルによりリストを配分(例えばリストA、リストBのリストへのランダム追加をランダムサンプルの機能を使い配分)し、その後それぞれのリストに対して異なるメールを送るというフローになるような気がしております。

https://nation.marketo.com/message/133704#comment-133704

上記の中のコメントを引用すると以下のようなイメージです。

”Add to List

-Choice 1 - If Random Sample is 33%, then add to Static List A

-Choice 2 - If Random Sample is 33%, then add to Static List B

-Choice 3 - If Random Sample is 34%, then add to Static List C

Wait 2 mins

Send Email

-Choice 1 - If Member of List Static List A, then send Email A

-Choice 2 - If Member of List Static List B, then send Email B

-Choice 1 - If Member of List Static List C, then send Email C”

とは言え、やり方はどうあれ、

とても気になる機能ではあるので時間が取れ次第実験してみます!

ありがとうございました!

April 21, 2017

@Satoshi Kubo​さん

松本です。

>おそらくランダムサンプルは、ランダムにリストに振り分ける機能であって、メールの送信のフローに

直接使うことはできないのではないでしょうか?

「指定した割合で按分する」のがランダムサンプルの機能かな、と私は認識しています。

メールの送信フローアクションの選択肢で、指定可能です。

挙げていただいているコミュニティのアーティクルにもあるのですが、

上記のような指定の仕方で、例えば10リードに3メールを均等に送ると、

選択肢1に設定したメール:4

選択肢2に設定したメール:3

選択肢3に設定したメール:3

のように振り分けられます。

上位の選択肢から優先的に振り分けが行われるということだと思います。

何かの機会にお試しください!

April 21, 2017

@悠香 松本さんご返信ありがとうございます!

そうなんですね。

こちらでも検証してみたいと思います!

April 20, 2017

@Satoshi Kubo​ さん、こんにちは。

テストサンプルの端数になった人にはメールが送られないというトリビアネタに驚きました。

プログラムの種類はメールプログラムのABテストのまま、少しだけ解決する方法を思いついてさっき結果がでました。トータルのサンプル数を100%ではなく、99%にすると端数の1名にも配信されました。試したのは7名で、テストの配信時刻に6名、勝者の配信時刻に1名へ配信となりました。端数になった人は配信時刻が変わりますが、ダッシュボードは活用できますし配信漏れがないのはマシかなと。

ご参考まで

April 20, 2017

ビジネス アソシエイツの松本と申します。

メールプログラムのABテスト機能とは、ちょっとトピックがずれてしまいますが、ご参考までに・・。

ABテストの目的が、「どのメールのパフォーマンスがよかったか?」を単純にテストすることである場合、

「ランダムサンプル」も活用できます。

例えば、 100人のリードに、メールA、B、Cをランダムに3分割して送り、もっとも開封率のよかったメールを、

次回のメルマガに使いたい  のような場合、スマートキャンペーンのフローに「メール送信」を設定し、

選択肢の追加→ランダムサンプル を指定、割合を33 と設定すればOKです。

どこかでお役に立てばと思います。

Accepted solution
April 11, 2017

仕様について補足で失礼します。

現在のメールプログラムにおけるABテストの仕様なのですが、

スケジュール設定した[テストの送信]と[勝者の送信]のタイミングでスマートリストを再度実行し、送信対象を再設定しております。

そのため、ブロック対象リードの増加や新規リードの登録などによりスマートリストの条件に合致するリード数が変動した場合、

50/50にしていても、プログラム設定時に送信対象となっていたリード数÷2に各々送信されるということにならないのです。

例えば、[テストの送信]と[勝者の送信]の間でスマートリストの条件に合致したリードが作成されたら勝者メールが届くなどが発生します。