Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
- 2. 自己紹介 • 新潟にある長岡技術科学大学で修士まで6年。 • ４月からデータ分析のお仕事始めました。 • 職場まで徒歩0分です。 • 主な使用言語 • Python、R、シェルスクリプト （+ mcmd） • Clojure もちょこちょこ学習中 • 前々回の Tokyo.R では 「R でダイエット」 という タイトルで LT しました。 • http://www.slideshare.net/tojimat/diet-by-r 2
- 3. 注意 • 内容は個人の見解であり、 所属する組織の公式見解ではありません。 • って言っとけばだいたいセーフらしい。 • 数式少なめ • 適当な説明になってる部分が多々あり。 3
- 4. 今回の内容 1. はじめに 2. サポートベクターマシンの理論 3. 最適化のお話 4. オブジェクトの識別 4
- 5. 今回の内容 1. はじめに 2. サポートベクターマシンの理論 3. 最適化のお話 4. オブジェクトの識別 5
- 6. 突然ですが… 6
- 8. 分けるとしたら… 8
- 9. 眼鏡っ娘他 9
- 11. ネットの海 眼鏡っ娘 分類器 俺 画像を大量に自動収集 大量の眼鏡っ娘画像 ＝ 幸せ 11
- 13. 今回の内容 1. はじめに 2. サポートベクターマシンの理論 3. 最適化のお話 4. オブジェクトの識別 13
- 14. 未知の は と どちらに分類される？ 14
- 15. ２つのグループ間のマージンが 最大になるような P を決定する P： 分離超平面 15
- 17. サポートベクターマシン （SVM） とは？ • 教師あり学習 （入力例を与える） • さっきの例では & が学習データ 未知の を分類する • マージン最大化学習を行う2値分類器 • 分離超平面を決定する • 線形分類器 （真っ直ぐなものしか切れない） だったのだが… 17
- 20. A: 直線で切れる！ 20
- 21. これと等価 21
- 22. カーネル法の話 • 非線形なカーネル関数により、 非線形な識別関数を学習可能。 • カーネル関数を取り入れた一連の手法では、 どのような写像が行われるか知らずに 計算できる。 ⇒ カーネルトリック 線形以外のカーネル関数を使うと、 さっきの図のような変換をやってくれる。 22
- 23. カーネル関数の例 • 線形 （Linear） • 多項式 （Polynomial） • RBF: “Gaussian” （Radial Basis Function） • シグモイド(Sigmoid) K( ix , jx ) = i T x jx K( ix , jx ) = exp(−γ i T x − jx 2 ) K( ix , jx ) = (γ i T x jx +r)d (γ > 0) (γ > 0) K( ix , jx ) = tanh(γ i T x jx +r) 基本的に普段使うのは 線形カーネル と、 非線形の RBFカーネル ぐらい。RBF の名前だけは覚えておこう。 23
- 24. マージンの話 • 問題を解く際には、どの程度誤りを許容するかが問題となる。 • コストパラメータ：C で決定する。 分類精度を向上させるためには適当さも必要 C が大きい C が小さい= = or 24
- 26. R で使える SVM のライブラリ • e1071 • Libsvm のアルゴリズム(Chang and Lin, 2001)を 利用することができる。視覚化やパラメーター調整などを 行なえる(Dimitriadou et al., 2005)。 • kernlab • カーネル法に基づく SVM アルゴリズムを利用できる。 そのほかに、libsvm や bsvm (Hsu and Lin, 2002) を 改良した柔軟性のある SVM を提供している。 • klaR • SVMlight アルゴリズムを利用できる。 26
- 27. 今回の内容 1. はじめに 2. サポートベクターマシンの理論 3. 最適化のお話 4. オブジェクトの識別 27
- 28. SVMのダメな使い方 1. データをSVMで使えるように整形。 2. デフォルトのパラメータで試行。 3. 「精度悪いなぁ…」 4. 「パラメータの調整とやらで精度が上がるらしいぞ？」 5. 適当に選択したカーネルとパラメータで試行。 6. 「精度悪いなぁ…別の手法試すか…」 ダメ！絶対！ 28
- 29. BETTERな手順 1. データをSVMで使えるように整形。 2. 素性の選択 3. データのスケーリング 4. カーネルの決定 5. 交差検定・グリッドサーチにより、 最適なコストやカーネルのパラメータを調べる。 6. 実行！ 29
- 30. 1. データの整形 • 学習用データ • 「素性ベクトル」 と 「正解ラベル」 のペア • 本番用のデータ • 学習用に使用した素性ベクトルと 同じ要素数からなる素性ベクトル v1: [ [0.50, 0.33, -0.21], [0.12, 0.98, 1.34], … ] l: [ 1, -1, … ] v2: [ [0.23, 0.55, -0.19], [0.10, 0.24, 0.78], … ] O: [ 1, -1, … ] システムの出力 30
- 31. 2. 素性の選択（１） • 数値データ • そのまま使用 [10.0, 2.5, 6.4, -8.2] • 範囲ごとに分割 [10, 0, 5, -10] • バイナリ化 [1, 1, 1, 0] • テキストデータ • 単語の出現回数 （n-gram） • 品詞情報 等を数値化 • 画像・音声データ • 元データをそのまま行列からベクトルに • フィルタリング • 圧縮して単純化 • フーリエ変換・ウェーブレット変換 等 31
- 32. 2. 素性の選択（２） • 次元の呪い （curse of dimensionality） • 超高次元になるとモデルが複雑に • 学習データが不足する。 • 球面集中現象 • 次元の増加に伴って各データ間の距離が 互いに等しくなる。 • まとめられるものはまとめる ⇒ 特徴選択・次元削減 Ex. 単語の出現回数 ⇒ 類語をまとめてカウント 32
- 33. 3. スケーリングの話 • 値のとりうる範囲が大きい素性が支配的に • 正規化したほうが良い結果になる場合も 例. -118 <= x <= 200 0 <= x <= 1 or -1 <= x <= 1 33
- 35. 5. パラメータの決定 • RBFカーネルの場合 • コストパラメータ：C • カーネルパラメータ：γ • 最適なパラメータは？ ⇒ 交差検定 ・ グリッドサーチ を利用し決定。 35
- 36. 5.1 交差検定 • 訓練データとテストデータの分割方法 １ ２ ３ 4 5 全データをk個に分割 １ ２ ３ 4 5 テストデータ 訓練データ １ ２ ３ 4 5 〜 • k 回試行してその平均を利用 • テストデータは常に未知のデータ ⇒ 過剰適応 （Over fitting） を防げる。 テストデータ 訓練データ 36
- 37. 5.2. グリッドサーチ • ２種類のパラメータを網羅的に探索 • グラフの赤い点を網羅的に試す。（粗 ⇒ 細） • 指数増加列がよい。 Ex. C = 2n (n = -5 〜 15), γ = 2m (m = -15 〜 3) 0 1 2 3 4 5 6 0 1 2 3 4 5 6 log2γ log2C 37
- 38. 最適化のまとめ • 素性の選択大事！ • とりあえず、RBFカーネルでOK！ • パラメータ調整大事！ 38
- 39. 今回の内容 1. はじめに 2. サポートベクターマシンの理論 3. 最適化のお話 4. オブジェクトの識別 39
- 40. サンプルコード • ここにあります！ https://github.com/Salinger/glasses_classifier/blob/ master/glasses_classifier.R • ただし、学習データセットは含めていないので、 サンプルコードを実行したい場合は自分で 画像を集めてきてください。 • ていうか、学習データ足らないので眼鏡っ娘 画像持ってる方、ください。 40
- 41. 用意したデータ • データ数 • 学習 ＆ チューニング用データ • 眼鏡っ娘画像: 75枚 他: 75枚 計150枚 • テスト用データ （作成した分類器の動作確認用） • 眼鏡っ娘画像: 3枚 他： 3枚 計 6枚 • 内容 • ネットで拾ったアニメのキャプ画。 • 主に人物単体写ってるもの • 基本顔がはっきりとわかるもの。 41
- 42. biOps ライブラリ で画像を加工 42 1. 元画像 2. グレースケール変換 3. エッジ検出 4. ダウンサイジング (48x27) 要素 （次元） 数 1296 の 素性ベクトル （眼鏡：75 個 Not: 75 個 計150個） 5. 0〜1に なるよう 正規化 imgRGB2Grey() imgCanny() imgAverageShrink() vec / 255
- 43. 動作確認 • SVMは R の e1071 ライブラリを利用。 • RBFカーネル ＆ デフォルトパラメータで試行。 • 交差検定は 分割数 ＝ 学習データ数 とする Leave-one-out 法 を用いる。 • 今回の場合149個学習させて残り１個を分類 結果やいかに？ 43
- 44. 動作確認の結果 44 • 2値分類なので、完全ランダムに振り分けた とすると分類精度は理論上 50 % 。 • ランダムよりはだいぶ良くなってる。
- 46. 最適化の結果 • 精度 7割 達成。 • このあたりが単純な手法だと限界っぽい。 • 実用化はまだまだっぽい。 46
- 47. テスト用データを分類 47 眼鏡 眼鏡 眼鏡じゃない 眼鏡じゃない 眼鏡じゃない 眼鏡 • 素性ベクトルの作成方法等をもっと工夫すれば もっと精度上がるかも。
- 49. 参考文献 ・SVM実践ガイド (A Practical Guide to Support Vector Classification) http://d.hatena.ne.jp/sleepy_yoshi/20120624/p1 ・カーネル法 http://www.eb.waseda.ac.jp/murata/research/kernel ・TAKASHI ISHIDA HomePage SVM http://www.bi.a.u-tokyo.ac.jp/~tak/svm.html ・バイオインフォマティクス Rで行うSVM解析, e1071, kernlab, klaR パッケージの使い方 http://bi.biopapyrus.net/compute/r-svm.html ・眼鏡っ娘分類器 サンプルコード （学習データを含んでいないので、そのまま実行はできない） https://github.com/Salinger/glasses_classifier/blob/master/glasses_classifier.R 49
- 50. 補足資料 50
- 51. カーネル関数の決定（１） • 最初に試すのはRBFカーネル • 事前知識がない場合これが無難 • 高次元の非線形空間 • 線形カーネルはRBFカーネルの特殊系 • シグモイドカーネルもRBFカーネルとほぼ同じように動作 • γパラメータ ＋ Cパラメータ のみの調整で良い • じゃ他のカーネルを使う場合はあるの？ 51
- 52. カーネル関数の決定（２） • 線形カーネルの利点 • 高速な LIBLINEAR が使用出来る • Cパラメータのみの調整で良い • 事前に線形分離できると予想できる場合 ⇒ 線形カーネルを用いるほうがいいかも 52
- 53. カーネル関数の決定（３） 1. 事例数 << 素性数 の場合 • 素性が高次元なので写像する必要がない • 線形カーネルを使うべき 2. 事例数 >> 素性数 の場合 • 非線形カーネルを利用して高次元に写像すべき 3. 事例数も素性数も大きい 場合 • 学習に時間がかかる。LIBSVMが苦手なケース • 線形カーネル & LIBLINEARの利用を検討 53