SVMについて
- 1. SVM(サポートベクターマシン) Theme について 筑波技術大学大学院：産業技術学セミナー
- 2. 自己紹介 • @mikenov22（Twitter） • 専門 • パターン認識と機械学習（PRML） • 画像処理 • 物体認識 • 所属 • 筑波技術大学大学院 M2 • 研究テーマ「距離情報を用いた指文字認識」 • その他 • 耳に障害があるため補聴器つけてます • 日常会話レベルなら特に問題なし 2
- 3. 発表の流れ • 1：SVMの概要 • 2：線形SVMの理論と計算方法 • 3：その他のSVM • ソフトマージンSVM • 非線形SVM • 4：まとめ 3
- 4. Chapter:1 SVMの概要
- 5. SVMとは何か • SVM（Support Vector Machine）とは何か • ニューロンモデルとして最も簡単なモデルの改良による 学習を用いた認識 • 単純パーセプトロン • 線形しきい素子 • 入力層と出力のみからなる2層のネットワークモデル 入力層 出力層 Ｘ w Y … 5
- 6. SVMの利点・欠点 • 利点 • データの特徴の次元が大きくなっても識別精度が良い • 最適化すべきパラメータが尐ない • パラメータの算出が容易 • 欠点 • 学習データが増えると計算量が膨大になる （「次元の呪い」の影響が顕著） • 基本的には2クラスの分類にしか使えない 6
- 7. SVMによる識別：2クラス分類 • 2クラスを分ける識別面を考える • どの識別面が一番良いか？ • 条件を満たすものは複数考えられる • 最も良い識別面とは クラスB • 未知の入力に対する識別誤差は 最小にすべき • 何らかの基準で識別面を評価する 必要がある マージンの最大化 クラスA 7
- 8. SVMによる識別：マージン最大化 • マージンを引く • 識別面から最近傍サンプルまでの ユークリッド距離 • マージンを最大化するような クラスB 識別面を決める • サポートベクタ • 識別面の最近傍サンプル点 • サポートベクタのみを用いて クラスA 識別面を決定する 8
- 10. 識別関数 • クラスB クラスA 10
- 11. 線形SVMの識別面 • クラスB クラスA 11
- 12. 条件を満たすためには • クラスB クラスA 12
- 13. 超平面からの距離（マージン） • 13
- 14. 境界超平面の決定（1/3） • 線形識別の超平面が存在するための 制約条件 14
- 15. 境界超平面の決定（2/3） • 15
- 16. 境界超平面の決定（3/3） • 16
- 17. 双対問題の説明にあたって • 使用する定理 • 説明するにあたって，次の定理を用いるため，これらの考え方に ついて説明する • ラグランジュ未定乗数法 • 目的関数の，極値の最大化や最小化を行う際に用いられる 数学的手法 • KKT条件 • 最小化問題を解く際に，極値が満たさなければならない条件 • Karush-Kuhn-Tucker条件 17
- 18. ラグランジュ未定乗数法（1/3） • 18
- 19. ラグランジュ未定乗数法（2/3） • 19
- 20. ラグランジュ未定乗数法（3/3） • 20
- 21. ラグランジュ未定乗数法（補足） • 制約条件について • 通常，ラグランジュの未定乗数法は， 制約条件が等式の場合 に適用される手法である • 不等式の制約条件への拡張 • 次のスライドからは，不等式の制約条件を持つ目的関数に 適用させるための考え方について述べる • KKT条件の考え方を用いる 21
- 22. KKT条件（1/3） • 22
- 23. KKT条件（2/3） • 23
- 24. KKT条件（3/3） • 各項の微分結果の総和が0 KKT条件 24
- 25. 双対問題（1/4） • 主問題 補問題 25
- 26. 双対問題（2/4) • 26
- 27. 双対問題（3/4) • 27
- 28. 双対問題（4/4) • 識別関数の最適なwとbを求める問題が 最適なλを求める双対問題へと帰着できた 28
- 29. 識別関数のパラメータの決定 • 29
- 30. 最適化問題 • 30
- 31. 最急降下法による最適化（1/2） • 31
- 32. 最急降下法による最適化（2/2） • 32
- 33. これまでのまとめ（1/2） • 33
- 34. これまでのまとめ（2/2） • 34
- 36. ソフトマージンSVM（1/8） • ハードマージンSVMの問題点 • 識別器構成時，サンプルが綺麗に分離できない場合がある • データにノイズが含まれる場合 • データの分布がオーバーラップしている場合 クラスB クラスB クラスAとBに分類した クラスAとBが分布し が，ノイズのせいでお互 ている領域が，互い いの領域にサンプルが にかぶってしまった 入ってしまった クラスA クラスA 36
- 37. ソフトマージンSVM（2/8） • クラスを線形分離できない場合… • 無意味な識別面ができてしまう • そもそも識別面が構成できない ？ ？ クラスB クラスB ？ クラスA クラスA 37
- 38. ソフトマージンSVM（3/8） • ソフトマージンSVMでの解決方法 • 次のような感じで，制約条件を緩めることで対応 ：マージンが最大である必要がないようにする ：超平面で分離に失敗するデータがあっても許容する クラスB クラスB クラスA クラスA 38
- 39. ソフトマージンSVM（4/8） • 39
- 40. ソフトマージンSVM（5/8） • 誤った領域に存在してし まったデータに対するペナ ルティを表す 40
- 41. ソフトマージンSVM（6/8) • 41
- 42. ソフトマージンSVM（7/8） • ハードマージンSVMの時と 全く同じ形の式を導くことができる 42
- 43. ソフトマージンSVM（8/8） • C→0 存在を許容 クラスB クラスA C→∞ 存在を許さない 43
- 44. 非線形SVM（1/5） • ソフトマージンSVMの問題点 • 線形分離不可能な場合でも柔軟に対応ができるが， 必ずしも良い識別器が構成されるとは限らない S- S-SVM…? SVM クラスB クラスB クラスA クラスA どんな分布になっても 超平面自体は線形なので 識別面を決定できるようになった 分布によっては分離性能に難あり 44
- 45. 非線形SVM（2/5） • サンプル空間 高次空間 元の次元 クラスB クラスB クラスB クラスA クラスA クラスA このままでは分類不可能 非線形写像先で線形分類をする 分類情報を保ったまま元の次元へ 45
- 46. 非線形SVM（3/5） • ハードマージンSVMの式との違い 46
- 47. 非線形SVM（4/5） • 47
- 48. 非線形SVM（5/5） • 48
- 49. Chapter:4 まとめ
- 50. 説明した内容 • SVMの概要 • 線形SVMの理論 • 超平面およびサポートベクタの存在条件 • ラグランジュの未定乗数法とKKT条件 • 双対問題による定式化 • 最適化問題の紹介 • ソフトマージンSVMと非線形SVM • スラック変数ξとパラメータCによる制約条件の調整 • それぞれの手法の定式化 • カーネルトリック 50
- 51. 参考文献 • 栗田多喜夫：サポートベクターマシン入門 • http://www.neurosci.aist.go.jp/~kurita/lecture/svm/svm.html • 津田宏治：サポートベクターマシンとは何か，電子情報通信学会誌，vol.83, No.6, pp.460- 466(2000) • 前田英作,痛快！サポートベクターマシン:情報処理学会誌,Vol.42, No.7, pp.676-683(2001) • 直江健介：サポートベクターマシンについて考えてみる • http://web.sfc.keio.ac.jp/~naoe/security/documents/naoe/Support_Vector_Machine_ver2.pd f • Support Vector Machine って，なに？ • http://www.neuro.sfc.keio.ac.jp/~masato/study/SVM/index.htm • 森信介：パターン認識特論 その2 • http://www.ar.media.kyoto-u.ac.jp/members/mori/lec-2007/bilingual-patrec-2.pdf • 山川佳洋：疎な解を持つカーネルマシン • http://www.ppt2txt.com/r/e3f07461/ • サポートベクターマシン入門(共立出版，2005年)：Nello Cristianini, John Share-Taylor 著 大北剛 訳 • ラグランジュの未定乗数法 • http://szksrv.isc.chubu.ac.jp/lagrange/l1.html 51