A/Bテストの教科書

A/Bテストの概要がわかる

A/Bテストについて基礎から応用まで学べる、タイトル通り教科書のような1冊です。テストの設計の仕方、どのような視点をもって課題を整理すべきか、またテスト様式について詳しく説明されています。図解も多く、体系的にまとまっているので、初心者の方におすすめです。

野口 竜司 (著)
出版社: マイナビ出版 (2015/12/9)、出典:出版社HP

本書のサポートサイト

発売後の補足情報や訂正情報を掲載していきます。 https://book.mynavi.jp/supportsite/detail/9784839955229.html
○ご注意

  • 本書の制作にあたっては正確な記述につとめましたが、著者や出版社のいずれも、本書の内容に関してなんらかの保証をするものではなく、内容に関するいかなる運用結果についてもいっさいの責任を負いません。あらかじめご了承ください。
  • 本書中に掲載している画面イメージなどは、特定の設定に基づいた環境にて再現される一例です。ハードウェアやソフトウェアの環境によっては、必ずしも本書通りの画面にならないことがあります。あらかじめご了承ください。
  • 本書は2015年10月時点での情報に基づいて執筆されています。本書に登場するソフトウェアのバージョン、URL、製品のスペックなどの情報は、すべてその原稿執筆時点でのものです。執筆以降に変更されている可能性がありますので、ご了承ください。本書中に登場する会社名および商品名は、該当する各社の商標または登録商標です。本書ではCおよび TMは省略させていただいております。

はじめに

リニューアルは時代遅れ

この言葉を聞いて、ドキッとした貴方。本書は、そんな貴方にぜひお読みいただきたい必読本です。
わたし自身、ウェブコンサルタントとして沢山のサイトリニューアルに携わりました。リニューアルプロジェクトのたびに、「オープン後、数値が下がらないだろうか……」と心配し、毎回毎回ハラハラしていたことを懐かしく感じます。
今では、「リニューアルだけ行うプロジェクト」はできるだけお断りをするほどになりました。なぜなら私の実経験を通じて次のことを言い切れるからです。

  • リニューアルは一か八か。担当者が大きなリスクを背負ってしまうことに。
  • A/Bテストは勝ちを確定してから本番リリースができる。必ず成果が出せる手法。

A/Bテストはカイゼン成果を確実に出せる万能な手法です。A/Bテスト単体でもそうですし、既存のリニューアルとA/Bテストを組み合わせることでも大きな成果を出すことができます。
しかしながら、A/Bテストを通じて成功を収めるためには、ひとつだけ条件があります。

A/Bテストを正しい手順・お作法で行うこと

過去、A/Bテストを実施したが成果を出しきれなかった人もいるかもしれません。 大抵の場合、成果がでない主な理由は、A/Bテストを正しい手順・お作法で行っていないことに集約されます。
本書では、A/Bテストの正しい手順と成果を上げるためのお作法(ポイント)を、次の3つのPartに分けて、できるだけ丁寧に解説をしてまいります。

  • Part1 A/Bテストのただしい始め方
  • Part2 A/Bテストを成功させるコツ
  • Part3 すぐに使える実践ワザ

まず「Part1 A/Bテストのただしい始め方」では、A/Bテスト初級者にも理解を深めていただくよう、A/Bテストはなぜ必要なのか? やテストの流れはどうなるのか? などの基礎理解のための内容を用意しました。続いて「Part2 A/Bテストを成功させるコツ」では、A/Bテストのワークフローに沿って各工程を分解し、詳細に解説していきます。成果を上げるための各種コツも同時にお伝えいたします。最後に「Part3 すぐに使える実践ワザ」では、概念理解だけで終わらないよう、A/Bテストについての実践的なガイドを33個、テスト事例を23個用意しています。
不幸なことに、これまでA/Bテストを専門とする解説書は、日本ではまだ書かれていませんでした。A/Bテスト専門書である本書をつうじて、売上アップやコンバージョン率アップを求められている全ての方のリスクを取り除き、カイゼン成果を上げるお手伝いができれば幸いと思っております。

本のカバーデザインもA/Bテスト

ところで、本書のカバーデザインは、『ビリギャル』や『もしドラ』の書籍デザインを担当したデジカルさんに作成してもらったのですが、実は本書のカバーデザインを決定するにあたって、A/Bテストの手法を取り入れデザインのパターンテストを 実施させていただきました。

カバー用のデザインバリエーションを3案用意し、テスト(オンラインアンケート) を行い、次のような質問に答えていただきました。
「”A/B テストの教科書”のカバーとして、買いたいのはどれですか?」
テストを通じて、表のような結果と大変参考になる沢山のコメントを得ることができました。

「A/Bテストの教科書」のカバーとして、買いたいものはどれですか? 集計
A 75
B 56
C 63
総計 194

すでにお手にとっていただいているとおり、僅差ではありましたがAパターンが勝利を収める結果となり、本書のカバーデザインとして採用されることとなりました。本来であれば本のカバーの決定は、出版社の編集様や営業様の権限によって決めるのが定石です。そのような中、本書の内容にそったカバーデザインテストの企画を立案・ご賛同いただいたマイナビ出版様、またデザイン会社のデジカル様、さらにはアンケートにご協力いただいた皆様、本当に有難うございました。
また、イー・エージェンシーのカイゼンソリューション部の皆さんやOptimizelyジャパン様にはA/Bテストに関する沢山の学びを頂きました。私一人の力では本書は出来上がらなかったと思います。この場をお借りして感謝申し上げます。

Happy Testing!
株式会社イー・エージェンシー取締役 野口竜司

野口 竜司 (著)
出版社: マイナビ出版 (2015/12/9)、出典:出版社HP

Contents

はじめに

Part1 A/Bテストのただしい始め方

Chapter 01 A/B テストは本当に必要か?
1 リニューアルは時代遅れ
2 リニューアルから卒業しよう
3 正しくA/Bテストを行えば成果は必ず付いてくる
4 コラム 経営者やマネジメントサイドからみたA/Bテストの価値
このChapterのまとめ

Chapter 02 はじめてのA/B テスト
1 A/Bテストの仕組みを知ろう
2 主要A/Bテストツール 3 まずは体験
3 A/Bテストの流れをつかもう
このChapterのまとめ

Chapter 03 テストプロジェクトを立ち上げる
1 テストプロジェクトの立ち上げ
2 A/Bテストのワークフローを理解する
3 チームを立ち上げ、担当を決める
4 A/Bテストの定例会議を決める
5 コラム アメリカにおけるA/Bテストチームの社内スタッフ人数は?
このChapterのまとめ

Part2 A/Bテストを成功させるコツ

Chapter 04 テスト成功率をあげるユーザー調査
1「おもいつくままにテスト」してはいけない
2 アクセス解析 + KPIマップが王道
3 ヒートマップはエリア・パーツ単位での課題を発見
4 ユーザーテストとヒューリスティック評価
5 定量×定性の行動ログ×パネルアンケート
6 課題を洗い出し、シートで管理する
このChapterのまとめ

Chapter 05 テストプラン精度をあげるA/Bテストの5W1H
1 テストプランニングをはじめよう
2 詳細テストプランを作るための5W1H
3 テスト場所/エリアの選び方 ~Where?
4 結果の評価指標を決めておく ~What for?
5 テスト様式をうまく使いわける ~How?
6 テスト仮説の精度を向上させる ~What?
7 ロードマップと担当者の決定 ~When? & Who?
8 課題・仮説シートから有意義なテストを量産
9「テスト案作成」はスピード重視で
このChapterのまとめ

Chapter 06 失敗しないテスト組み込み・実行とは?
1 テスト組み込み・実装で陥りやすい失敗ポイント
2 成果計測設定モレに注意する
3 外部ツールとの連携を忘れずに
4 配信量のコントロールとターゲティング設定
5 本番テスト前の動作検証を怠らない
6 テスト終了時期をまちがえない
このChapterのまとめ

Chapter 07 次につなげるテスト結果レビュー
1 効果の計測と要因分析
2 テスト結果を立体的に評価する
3 テスト結果サマリーから次の計画を立てる
4 コラム 以前のA/Bテスト結果は次のテストの大きなヒントに
このChapterのまとめ

Part 3 すぐに使える実践ワザ

Chapter 08 A/Bテスト実践ガイド 22 ~テスト様式マスター
1 実践ガイド① クイック&バリューテストの4様式をマスターする
2 実践ガイド② 「引き算テスト」でノイズをカットしよう
テスト事例1 バナーゾーンのカットでCVR43%アップ
テスト事例2 支払いページの引き算テストで訪問あたり収益が14.3%アップ
テスト事例3 オプション項目の引き算で申し込み完了5%増
テスト事例4 ソーシャルシェアボタンの引き算で約3倍のシェア
3 実践ガイド③ 「配置替えテスト」で目線を変える
テスト事例5 配置替えテストで資料ダウンロード数38%アップ
4 実践ガイド④ 「要素強調テスト」で視認性を上げる
5 実践ガイド⑤ 「心を動かすコピーテスト」でユーザー心理に働きかける
テスト事例6 支払いボタン文言の変更でクリック率29%アップ
6 実践ガイド⑥ ベーシックテストの4様式をマスターする
7 実践ガイド⑦ 「足し算テスト」でユーザーの意思決定を後押しする
テスト事例7 クライアントロゴの追加でコンバージョンが69%アップ
テスト事例8 商品ページに FAQ回答を入れて69%コンバージョンアップ
8 実践ガイド⑧ 「ビジュアルチェンジテスト」で写真やイラストに変化をつける
テスト事例9 登録フォームページの背景画像をビジュアルチェンジして2.8%登録増
テスト事例10 動画プレビュー画像のビジュアルチェンジテストでクリック率6%アップ
9実践ガイド⑨ 「UIコンポーネントテスト」でナビゲーションに変化をつける
テスト事例11 UIパーツを変更してソーシャル拡散数764%
テスト事例12 〈失敗事例〉ナビ内のメニュー配置場所を変えて92%クリック率がダウン
10 実践ガイド⑩ 「カラムレイアウトテスト」で段組みをガラっと変える
テスト事例13 レイアウトテストで訪問者あたり収益17%アップ
11 実践ガイド⑪ アドバンスドテスト(ハイエンドシナリオ)の4様式をマスターする
12 実践ガイド⑫ 「リニューアル前後テスト」でリスクを最小限にする
テスト事例14 リニューアル前テストで収益を26%アップ
13 実践ガイド⑬ 「複数ページ横断テスト」で連なるページ群をまとめて改善する
14 実践ガイド⑭ 「多変量テスト」でエリアごとのパターンを掛けあわせてテストする
15 実践ガイド⑮ 「セグメント別テスト」で特定ユーザーだけにテストする
テスト事例15 メールと連動したセグメント別テストで収益を5%アップ
テスト事例16 リスティングとランディングのコピーの一致で39.1 % コンバージョンアップ
16 実践ガイド⑯ アドバンスドテスト(テクニカルテスト)の4様式をマスターする
17 実践ガイド⑰ 「フロー改修テスト」で順番・ステップを変える
18 実践ガイド⑱ 「機能改修テスト」でシステム部分もテストする
テスト事例17 フォームで入力必須項目を大幅にカットして離脱率を半分に
テスト事例18 検索結果一覧の表示テストでCVRが14%アップ
テスト事例19 ニュースサイトで人あたりPVが4.9%アップ
19 実践ガイド⑲ 「ダイナミックテスト」で大きな変化をつける
テスト事例20 ダイナミックテストでコンバージョン611%改善
20 実践ガイド⑳ 「ネイティブアプリテスト」でアプリ収益をアップ
テスト事例21 アプリの新デザイン反映を段階的に実施しリスク低減
テスト事例22 クレジットカード情報を先に入力してもらう
ネイティブアプリテストで課金人数が43%向上
21 実践ガイド㉑ AARRR!(アー–!モデル)から考えるアプリテストアイデア
22 実践ガイド㉒ A/Bテスト後にパーソナライゼーションに移行する
テスト事例23 パーソナライゼーションで登録ボタンのクリックが42%改善
このChapterのまとめ

Chapter 09 A/Bテスト実践ガイド ~ツール組み込み
1 実践ガイド㉓ 「引き算テスト」のツール組み込み手順
2 実践ガイド㉔ 「配置替えテスト」のツール組み込み手順
3 実践ガイド㉕ 「要素強調テスト」のツール組み込み手順
4 実践ガイド㉖ 「心を動かすコピーテスト」のツール組み込み手順
5 実践ガイド㉗ 「足し算テスト」のツール組み込み手順
6 実践ガイド㉘ 「ビジュアルチェンジテスト」のツール組み込み手順
7 実践ガイド㉙ 「UIコンポーネントテスト」のツール組み込み手順
8 実践ガイド㉚ 「カラムレイアウトテスト」のツール組み込み手順
9 実践ガイド㉛ URL ターゲットの設定手順
10 実践ガイド㉜ OptimizelyとGoogleアナリティクスの連携手順
11 実践ガイド㉝ テスト配信コントロール機能を使った勝ちパターンの仮本番化手順
このChapterのまとめ

索引

野口 竜司 (著)
出版社: マイナビ出版 (2015/12/9)、出典:出版社HP

Chapter 01 リニューアルは時代遅れ

こんな経験ありませんか?

上の図のような経験をされたことはありませんか? わたしはこれまでに沢山のサイトリニューアルに関わってきましたが、多くのリニューアル担当者がこのような経験をしてきたところを垣間見てきました。また、わたし自身もコンサルタントとしてサイトの設計やデザイン業務に従事しており、リニューアル後の数値を見て「こんなはずではなかった……」と大きな後悔を繰り返してきました。一般的にサイトのリニューアルでは、「要件定義」「設計」「デザイン」「詳細仕様の決定」「開発」「リニューアル」という一直線の流れを通じて、大きな改変が行われます(図1-1-2)。

ここでポイントになるのが「詳細仕様の決定」です。「詳細仕様の決定」にあたっては、会議を開いて多数決を取ったり、決裁権を持つ上司の判断を仰ぐことによって、関係者間での合意を形成し最終仕様を固めるシーンがよく見られます。社内調整の理論でいけば、この社内稟議を通じたやり方はまっとうで根回しも効いており正しい手順といえます。しかしながら、この社内稟議による決定は実は非定量的な判断方法であり、エンドユーザーとは全く関係ない世界で行われる自分勝手なジャッジメントであることに気づかなければいけません。

多数決や上司による判断は一部の人間の「カンや経験」によるもので、だれも結果を保証できるものではありません。社内での根回しをすることで一時的な安心材料を取り付けることはできるかもしれませんが、リニューアル後に全く改善成果があがらない、もしくは大幅な数値ダウンをしてしまった。などのことがあれば、リニューアル担当者は大変な局面に立たせられることになるでしょう。

リニューアルは、図1-1-3のように実は一か八かの危険なプロセスを踏んでいるのです。

野口 竜司 (著)
出版社: マイナビ出版 (2015/12/9)、出典:出版社HP