月最大80件のA/Bテストを実施！お客様が本当に使いやすいサイトの改修に終わりはない！
〜ベルーナのABテスト事例〜

──ベルーナ様の事業をご紹介ください。

清水：当社は、衣食住遊に関わる商品を扱う、総合通販商社です。1983年に新聞折り込みチラシを活用した衣料品の通信販売を開始し、1986年には、ミセス向けカタログ「ベルーナ」を創刊いたしました。2000年にインターネット事業部を発足させ、ECへの取り組みを早い段階から行ってまいりました。
現在は、1800万人を超える会員データベースを持ち、総合通販サイト「ベルーナ」のほか、化粧品、サプリメント、ワイン、看護師向け用品などの専門通販サイトを運営しています。
当EC事業本部は、総合通販サイト事業を担い、ミセスから若年層まで幅広い年齢層をお客様として、日々、使いやすいサイトの運営をめざしています。

──LPOツールを導入することになった背景を教えてください。

清水：EC事業本部の当時の責任者が中心となり、サイトデザインやUIを大きく改修したことがありました。いろいろな要素が入り込んでいたものがシンプルに整理され、全体的には売上も改善されましたが、細かいところについては、果たしてそれは効果があったのか、なかったのか、むしろ悪影響だったのか、わかりづらかったのです。
そこで、細かい改修の効果を測定し、改修リスクを軽減するために、ツールの導入が必要だと判断しました。

──導入にあたっては、複数のツールを検討されたと思いますが、DLPO導入に至った決め手はなんだったのでしょうか。

清水：機能面では、管理画面がわかりやすく使いやすいこと、国内での実績が豊富にあったことなどです。価格面でも、ほかのツールと比較して低く抑えられることも大きかったですね。
また、サポート担当の方がこちらに足を運んで説明してくださり、運用の体制がしっかりしていることも好材料でした。

上村：管理画面はわかりやすいとはいえ、初めての導入では、わからないことだらけです。電話のみではなく、実際にこちらに来て見ていただきながら、説明を受けたことで、自分たちでの落とし込みがやりやすくなりました。

──2015年の8月に導入いただき、3年以上が経過しました。印象的なテスト結果はありますか。

上村：たくさんあって、選びきれないですね（笑）。

清水：結果というよりは、何度もテストを重ねた「カートに入れるボタン」は思い出深いですね。色を変えたり、形を変えたり、追従させたり、動かしたりと、試行錯誤して今の形に落ち着きました。

上村：よい結果が出るという予想が裏切られたこともあります。他サイトを参考に、ヘッダーをもっとすっきりさせる方がよいと仮説を立てたのですが、テストをした結果、シンプル過ぎると当社のサイトにはフィットしないとわかりました。要素の多くをタブ化したりメニューに収納したりして隠してしまうと、気づかれなくなってしまうようです。予想は外れてしまいましたが、その後のサイトの在り方を考える上で大きな収穫でした。

──ベルーナ様では、コンスタントに月30〜40件、多い月には80件以上のA

清水：導入当初は、UIに関するテストが多く、ツール導入を率先して行った前責任者と私でアイデアを出し討議していました。エンジニアチーム、デザインチームなど、関係者の調整については、トップダウンの要素が大きく、難しい面はありませんでした。

上村：私はデザインチームを率いていますが、デザインチームでクリエイティブをつくって実装まで行うことができるので、スピーディーな運用ができていると思います。UIに関しては、前責任者と清水から発信されたアイデアをデザインチームで形にしますが、モデルの写真を使うか、商品の写真にするかなどのビジュアルA/Bテストでは、デザインチームで、アイデア出し、クリエイティブの作成、実装まで行う場合も多くあります。

清水：サイト改修のチームがあり、そこからA/Bテストを起案するというメインの流れはあるのですが、デザインチーム内で完結できることで、スピードを上げて数を回すことができているという面はあると思います。最近は、A/Bテストが社内で定着してきて、他部署を含めて「こうしたテストをやりたい」というリクエストがくるようになっています。アイデア出しに困るという事態はまったくなく、むしろ数あるアイデアの中から有効と考えられるテストを厳選する必要があります。

──デザインの現場の方が面白いと感じて、能動的な仕事をされているからこその、スピード感なのですね。デザインチームは何名くらいいらっしゃるのですか。

上村：全体の人数としては30名近くおりますが、実装まで行えるのは、ここにいる2名を含めて6名です。

清水：決して大人数ではありませんから、限られたリソースで運用できるよう、実際にテストをするアイデアの優先順位をしっかり見極めることが大切なのです。

──優先順位はどのようにつけるのでしょうか。

上村：まずは売上への影響が大きいと考えられるものは優先順位が高くなります。また、3年以上、A/Bテストを運用してきた結果、過去の知見が相当たまっています。たとえば先ほど出た、モデルの写真にするか商品の写真にするか、といったシンプルなビジュアルテストは傾向がわかってきていて、あえてやらないでも予想がつくため、今までにないような新しいアイデアを優先するようにします。

清水：A/Bテストを回し続けてきて得た経験をもとに、テストをするにあたっての仮説、アイデアがどんどんブラッシュアップされているので、私たちが実施するA/Bテストの精度も、どんどん向上しています。

──セグメント別のA/Bテストやターゲティング配信などはどのようにしていますか。

清水：たとえば、購入経験のある人にクーポンを出すなど、一時的なキャンペーンでセグメントに合わせて表示内容を変えることはありますが、常時セグメント別の配信をしているということはありません。
ただし、実施するA/Bテストの全てで、セグメント別に集計していますので、このセグメントではこの傾向が見られるなどと、テスト毎に参考にはしています。

セグメント別の配信ができる機能を使って、A/Bテストの精度を上げるという手法をとることもあります。
たとえば、トップページに掲載しているランキング1位の商品に対して、ビジュアルのA/Bテスト行うとします。トップページでAを表示した人には、商品詳細ページにいってもA、Bだった人にはBを表示するというように、買い物の最初から終わりまで一貫したクリエイティブを見せるようにします。

コンバージョンにつながるまでには影響を受ける要素がいろいろあります。その中で、コンバージョンにつながった要因について間違った判断をしないように、検証精度を上げることが目的です。

──DLPOに期待することは？

上村：こちらも慣れてきましたので設定方法は基本的にわかっていますが、不明な点が出てきたときには対面サポートをしていただけると、とても心強くわかりやすいので、今後もぜひお願いしたいと思います。もちろん、来ていただくだけではなく、こちらから伺うこともしていきます。 私たちのミッションは、お客様が使いやすいサイトにしていくこと。その実現のために、あの手この手を使っていきますから、今後もそこに寄り添ってもらえれば嬉しいです。

──読者の皆さまにメッセージをお願いします。

上村：ECサイトは、最終形態というものはなく、時流に合わせて変えていくものだと考えています。お客様が使いやすいサイト、買い物をしたくなるサイトをつくっていきたいと思っています。DLPOを通じて勝ちパターンを見つけていき、最適なサイトをめざしていきます。

(記事の内容、肩書きなどは2018年12月現在のものです。)