Abテストと検定
- 2. 篠原照樹 • Web系企業で、Hadoop、Hive基盤整備を やっています。 • 作ったものとか – Hive Color http://hivecolor.com – JKマーチ http://jkmarch.com – えごったー http://www.egotter.com • 面白い人探してます！ 2
- 3. 本日のテーマ： ABテストと検定 • ABテスト – AパターンとBパターンを実際に試して、結果が 良い方を選ぶ – メリット：本当に数値が高い方を客観的に選べる • 検定 – 起きた結果が偶然なのかを判断する • ABテストだけだと簡単なのに、検定も加わ ると途端に難しくなる？ 3
- 4. 今日伝えたいこと： 検定の考え方は身近に存在する • 人は誰でも、無意識のうちに検定っぽい 思考をしている。 • 検定 = 難しい、自分には縁遠い、という のは誤解かも。 • 身近な、自然に使われている検定(っぽい 思考)の例を紹介します。 4
- 5. ABテスト 実演 A) あったらいいな をカタチにする B) 無限の可能性をあなたに • 好きな方のキャッチコピーを選んでください。 A)は小林製薬株式会社様、B)はアドビシステムズ様のキャッチコピーです。 画像は無料学習サイトShareWis様のサイトから引用させていただきました。 5 • 実際に試して決める点が重要です • ただの多数決とは違います！ • 普通はWebとかでやります
- 6. 検定 実演 A) あったらいいな をカタチにする – ○票 B) 無限の可能性をあなたに – □票 • この結果は偶然でしょうか？ それとも、本当に優 れているのでしょうか？ • 答え 偶然です。どちらか一方が優れているとは言い切 れません。(有意水準5%、合計3票、の場合) 6
- 8. 身近な検定の例 A) 3打席1安打の3割バッター B) 300打席100安打の3割バッター • すごいのはどっち？ – 後者がすごい – 前者は偶然かもだけど、後者は偶然ではあり得ない • R？の式 binom.test(100？, 300？, p = 0.5, alternative = “two.sided”, conf.level = 0.95) • p値？ = 8.015e-09 < 0.05、よって有意差あり 野球の打席は確率50%の二者択一じゃないけど一例として使いました。 8
- 9. ABテストの検定 • ABテストの結果、Aが100回、Bが120回クリックされた。 • Bの方が良いと言える？ • Rの式 binom.test(100, 220, p = 0.5, alternative = "two.sided", conf.level = 0.95) • p値 = 0.20 > 0.05、よって有意差なし • ワンポイント！ 1,000と1,200だとp値 = 2.182e-05 < 0.05、よって、有意差があると 言えます。 偏りがあるほどサンプル数が少なくて済みますが、どれだけサンプ ル数が多くても有意差が認められないこともあります。 9
- 10. まとめ • 検定が簡単なことを示すために、身近な？例 をいくつか計算しました。 • • もっと勉強したい方に おすすめの書籍 • ABテストと検定についてもうちょい詳しく書いてます。 http://hivecolor.com/id/102 10
- 11. 篠原照樹 • Web系企業で、Hadoop、Hive基盤整備を やっています • 作ったものとか – Hive Color http://hivecolor.com – JKマーチ http://jkmarch.com – えごったー http://www.egotter.com • 面白い人探してます！ 11