1 福水健次 統計数理研究所/総合研究大学院大学 大阪大学大学院基礎工学研究科・集中講義 2014 September カーネル法入門 5.カーネル法のその他の話題 2 • 効率的計算 低ランク近似の方法 • 構造化データ 非ベクトルデータに対するカーネル カーネル法の計算効率化 3 グラム行列計算 – カーネル法の計算: グラム行列による線形代数演算 データ数のサイズの行列 • 元の空間の次元が高くても計算量の問題は(あまり)生じない • データ数が大きいと計算量の問題が生じる 逆行列計算,固有値計算 in time 4 計算効率化への一般的なアプローチ – 低ランク近似によるGram行列の近似 • 不完全Cholesky分解 • Nyström近似 – ランダムなカーネル展開 • Random kitchen sink – 少数データによる表現 • データのランダムサンプリング •
1. SMO徹底入門 SVMをちゃんと実装する 2013-05-05 Last update: 2013-06-16 Yoshihiko Suhara @sleepy_yoshi 1 v. 1.1 Thank you @a_bicky さん! 2. なんでこの資料つくったの? • SMOの解説記事や疑似コード等あるけれど,自分の 頭ではその情報だけで理解できなかったから • SMOの実装は過去に2回ほど行ったことがある – 疑似コードをもとに打ち込んだだけ – 写経しても結局理解できなかった – なぜそうしているのかを理解していなかったことが原因 • 一念発起して更新式の導出等を行ったらようやくわ かった気になったのでGW中にSMOを実装してみた – 忘れないうちに資料化 2
さて、前回は交差検証の説明で終わってしまいましたが、今回はちゃんと SVM のチューニングの話をします。 チューニングの手順としては、 グリッドサーチで大雑把に検索する。 最適なパラメータがありそうなところを絞って再びグリッドサーチを行う。 という2段階のグリッドサーチを行います。 1段階目:グリッドサーチで大雑把に検索する SVM のチューニングは tune.svm() という関数を用いて行います。 チューニングのやり方は、単純にグリッドサーチを行っているだけです。 パラメータの値をいろいろ変えてみて、正答率の一番いい値をベストパラメータとして出力します。 プログラムは下記のようになります。 gammaRange = 10^(-5:5) costRange = 10^(-2:2) t <- tune.svm(Species ~ ., data = iris, gamma=gammaRan
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く