Location via proxy:
[ UP ]
[Report a bug]
[Manage cookies]
No cookies
No scripts
No ads
No referrer
Show this form
Submit Search
Submit Search
Upload
Abテストと検定
•
8 likes
•
9,309 views
2013/6/1に開催されたTokyoRでのLT資料です。
Read less
Read more
1 of 11
More Related Content
Abテストと検定
1.
ABテストと検定 篠原照樹
2.
篠原照樹 • Web系企業で、Hadoop、Hive基盤整備を やっています。 • 作ったものとか –
Hive Color http://hivecolor.com – JKマーチ http://jkmarch.com – えごったー http://www.egotter.com • 面白い人探してます! 2
3.
本日のテーマ: ABテストと検定 • ABテスト – AパターンとBパターンを実際に試して、結果が 良い方を選ぶ –
メリット:本当に数値が高い方を客観的に選べる • 検定 – 起きた結果が偶然なのかを判断する • ABテストだけだと簡単なのに、検定も加わ ると途端に難しくなる? 3
4.
今日伝えたいこと: 検定の考え方は身近に存在する • 人は誰でも、無意識のうちに検定っぽい 思考をしている。 • 検定
= 難しい、自分には縁遠い、という のは誤解かも。 • 身近な、自然に使われている検定(っぽい 思考)の例を紹介します。 4
5.
ABテスト 実演 A) あったらいいな
をカタチにする B) 無限の可能性をあなたに • 好きな方のキャッチコピーを選んでください。 A)は小林製薬株式会社様、B)はアドビシステムズ様のキャッチコピーです。 画像は無料学習サイトShareWis様のサイトから引用させていただきました。 5 • 実際に試して決める点が重要です • ただの多数決とは違います! • 普通はWebとかでやります
6.
検定 実演 A) あったらいいな
をカタチにする – ○票 B) 無限の可能性をあなたに – □票 • この結果は偶然でしょうか? それとも、本当に優 れているのでしょうか? • 答え 偶然です。どちらか一方が優れているとは言い切 れません。(有意水準5%、合計3票、の場合) 6
7.
簡単な検定はたったこれだけです • 【再掲】 検定とは、起きた結果が偶然なのかを判 断する手法のこと。 • 「偶然起きる」とはどういうことか、さ らに実例を紹介します。 7
8.
身近な検定の例 A) 3打席1安打の3割バッター B) 300打席100安打の3割バッター •
すごいのはどっち? – 後者がすごい – 前者は偶然かもだけど、後者は偶然ではあり得ない • R?の式 binom.test(100?, 300?, p = 0.5, alternative = “two.sided”, conf.level = 0.95) • p値? = 8.015e-09 < 0.05、よって有意差あり 野球の打席は確率50%の二者択一じゃないけど一例として使いました。 8
9.
ABテストの検定 • ABテストの結果、Aが100回、Bが120回クリックされた。 • Bの方が良いと言える? •
Rの式 binom.test(100, 220, p = 0.5, alternative = "two.sided", conf.level = 0.95) • p値 = 0.20 > 0.05、よって有意差なし • ワンポイント! 1,000と1,200だとp値 = 2.182e-05 < 0.05、よって、有意差があると 言えます。 偏りがあるほどサンプル数が少なくて済みますが、どれだけサンプ ル数が多くても有意差が認められないこともあります。 9
10.
まとめ • 検定が簡単なことを示すために、身近な?例 をいくつか計算しました。 • • もっと勉強したい方に おすすめの書籍 •
ABテストと検定についてもうちょい詳しく書いてます。 http://hivecolor.com/id/102 10
11.
篠原照樹 • Web系企業で、Hadoop、Hive基盤整備を やっています • 作ったものとか –
Hive Color http://hivecolor.com – JKマーチ http://jkmarch.com – えごったー http://www.egotter.com • 面白い人探してます! 11