機械学習ではモデルを作って終わり、ということは無く、モデル作成後にテストデータを使って「本当に良いモデルなのか？」という評価を必ず行う必要があります。 では具体的にどのように評価をすれば良いのか？という話になりますが、今回は代表的な評価指標である ROC AUC ついて説明していきます。 この辺りについては、以下書籍でよくまとまっているので、よろしければ是非！ Pythonと実データで遊んで学ぶ データ分析講座 作者: 梅津雄一,中野貴広出版社/メーカー: シーアンドアール研究所発売日: 2019/08/10メディア: 単行本（ソフトカバー）この商品を含むブログを見る ※追記※ スマホだと数式がうまく表示されない可能性がありますので、こちらのリンク、もしくはPCから購読頂けますと幸いです。 正解率の問題点と、偽陽性率と真陽性率ROC・AUCに入る前に、それらを計算するための性能評価値につい
試験の点数から○○大学に合格（T）か不合格（F）かを予測したいときや，検査値から病気（T）か健康（F）かを判断したいときなどがあります。要するに，与えられた値から，真（TRUE）か偽（FALSE）かを判断したいわけです。 例として右の表のような場合を考えましょう。 与えられた値をどこで切っても，TとFは完全には分離できません。例えば11で切って，11以上を陽性（positive），11未満を陰性（negative）とした場合，10個のTのうち5個がpositiveに入りますので，true positive（真陽性）の割合は0.5です。また，5個のFのうち1個がpositiveに入りますので，false positive（偽陽性）の割合は0.2です。そこで，(0.2, 0.5) をプロットします。このように，区切る値（閾値，カットオフポイント）をいろいろ変えて，横軸にfalse positi
なので、水色の面積(真陽性：病気の人を「病気」と判断)をなるべく大きくして、緑の面積（偽陽性：健康な人を「病気」と判断してしまう）を小さくすると、識別の性能が高いと言えます。 以上のデータからROC曲線を描くと下記のグラフになります。 これがどういうものかを、次項より説明していきます。 また、今回識別境界をx=27においていますが、これが良い境界であることは最初のグラフの２つの分布を引き算したグラフを描いてみるとわかります。正しい判定（水色面積：病気の人を病気と判断）を増やし、誤った判断（健康な人を病気と判断）を少なくするので、水色の面積は＋、緑色の面積はーとなります。水色から緑を引いた曲線を描き、左から順に識別境界を右にずらして考えると、x=27のところより右はマイナスにしかならないので、面積が最大のところは下記のとおりx=27のところということがわかります。 2. ROC曲線の書き方
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
