L1 / L2正則化と言えば機械学習まわりでは常識で、どんな本を見てもその数式による表現ぐらいは必ず載ってる*1わけですが、そう言えばあまり実務では真面目にL1 / L2正則化入れてないなと思ったのと、Rでやるなら普通どうするんだろう？と思ったので*2、もはや周回遅れみたいな感じではありますが備忘録的に実践してみようかと思います。 L1 / L2正則化って何だっけ ということで復習（自分の記憶が合っているかどうかの確認）。。。PRMLにも載ってる有名な図がありますが、あれの説明が直感的には最も分かりやすいかと思います。これは重み付けベクトルが2次元の場合、つまりとを求めるという問題を想定した図です。もうちょっと言えば2次元データに対する分類or回帰問題ということで。 基本的には分類器にせよ回帰モデルにせよ、学習データに対する誤差*3を定式化して、これを最小化するように（このケースでは2つの
以前から同様の指摘は様々な分野から様々な人々が様々な形で出してきていましたが、アメリカ統計学会が以下のような明示的な声明をこの3月7日（現地時間）に発表したということで注目を集めているようです。 AMERICAN STATISTICAL ASSOCIATION RELEASES STATEMENT ON STATISTICAL SIGNIFICANCE AND P-VALUES Provides Principles to Improve the Conduct and Interpretation of Quantitative Science https://www.amstat.org/newsroom/pressreleases/P-ValueStatement.pdf The ASA's statement on p-values: context, process, and p
今やKaggleやKDD cup以下名だたる機械学習コンペで絶大な人気を誇る分類器、Xgboost (eXtreme Gradient Boosting)。特にKaggleのHiggs Boson Machine Learning Challengeの優勝チームが駆使したことで有名になった感があるようで。 その実装ですが、C++ベースで高速化したものにRとPythonのラッパーをつけたものが既にGitHubで公開されています。 Rパッケージである{xgboost}のインストールについての注意事項は前回の記事に書いていますので、インストールの際はご参考にしていただければと。 さて。これだけ大人気の分類器となると国内外問わず色々な解説記事に溢れておりまして、例えば日本語ブログでもこれだけの記事が既に出てます。 勾配ブースティングについてざっくりと説明する - About connecting
ちょっと調べてみたらタイトルの件について言及してる記事があまり多くなかったので、ざっくり書いてみます。なお、この記事はid:shakezoさんの 実務でRandomForestを使ったときに聞かれたこと へのオマージュです。というか、実は僕もこの記事を読んでから「多分Rなら専用の関数なんかもあるだろうし簡単にできるはず」と思って以前よりも積極的にやるようになったのでした（笑）。 総論：何で機械学習するのにチューニングが必要なの？ どんな機械学習でも、何かしらのチューニングパラメータを持っています。例えばソフトマージンSVMならマージンパラメータCがありますし、非線形ガウシアンカーネルSVMならさらにカーネルパラメータのσとかが入ります。SMO（逐次最大最適化）アルゴリズムを利用するのであれば、さらにさらにtoleranceとかも入ってきます。 しかも、ちょっといじってみればすぐ分かると思う
教師なし学習シリーズもいよいよ佳境に入ってきましたねー、と言いつつ前回記事から既に2ヶ月半ぐらい経ってますが。。。ここからは主に混合モデルを取り上げていく予定です。今回もはじパタpp.165-174をベースにやっていきます。 はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ (4件) を見る もちろん細かいところはPRMLなどでチェックすると良いかと思います。PRMLなら下巻の第9章が丸々そのまま混合モデルとEMアルゴリズムの解説に充てられているので、はじパタで説明が足りないなと思ったところについては参照してみてください。 まずRでどんなものか見てみる いつも通りですが、GitHubに置いてある多変量データで試してみましょう。これまたいつも通りdとかいう名前
我らが自称ゆるふわ*1ガチ勢代表@motivic_氏がこんな記事をupしてました。 ということで、こんなに簡単にDeep LearningをR上で試せるんだったらついでに僕もやってみようと思ったのでした。ただし同じirisでやるのも芸がないので*2、そこはちょっと変えてみましたよーということで。 そうそう、Deep Learningの原理については@0kayuさんのまとめがめちゃくちゃ参考になると思うので、是非是非ご参照ください。 実装ディープラーニング 今回はまだ初歩の初歩しか触りませんが、それでもチューニングのところなどにこのスライドにも出てくるような様々な原理的側面がかかわってきます。 そもそもH2Oって何だっけ 0xdata - H2O h2o/R at master · 0xdata/h2o · GitHub 元々H2Oはin-memoryプラットフォームとしてHadoop上や最
最近こんな素晴らしい勉強会があったと知りまして。主催は7月の1ヶ月間で何故か3回も一緒に飲んだこの人。 第1回BUGS/Stan勉強会を開催しました 元々WinBUGSは{R2WinBUGS}経由で使っていたんですが、やっぱり{Rcpp}経由でC++コンパイラで高速で走るStan良さそうだなーということで{RStan}を入れてみようと思ったのでした。 ・・・ところが。RStan Getting Startedに書いてある手順を何度やっても色々エラーが出まくって動かないというorz 仕方ないのでTwitterでオッサン大仏様やら冒頭記事のブログ主に聞くなりして、ようやく解決して{Rcpp}も{RStan}も動くようになったのでした。 ということで、その一部始終を簡単にまとめておきます。まだるっこしい説明が嫌だという人は、全てすっ飛ばして一番後ろの「結論」だけ読めばOKです。 前提 最初に僕の
実は業務でもStan使い始めてるんですが、まだまだ単位根ありパネルデータの分析に回すなど低レベルなものが多く、無情報事前分布と階層事前分布を巧みに使いこなして華麗にサンプリング。。。なんて夢のまた夢という情けない状況です（泣）。 で、気が付いたら@berobero11さんのStan関連ブログ記事が超絶充実していて、久保先生もびっくりみたいな状況に。もはや僕が何かをだらだら書くのもアホらしいので、先にStanの使い方を覚えたいという方は是非@berobero11さんのブログから読んで下さい（笑）。僕はひたすらそちらの記事を（例えばinfer.NETあたりの例題を解きながら）トレースしていくだけのショボい記事をだらだら書いていこうと思ってます。 ということで、とりあえずStanマニュアルであるstan-reference-2.1.0.pdfを斜め読みして*1、ざっと僕が興味のある範囲でまとめた
ちょっとStan一辺倒でやってるのも随分効率が悪いなぁと思い始めてきたところに、大仏のオッサンがこんなナイスな記事をupしていたのに今頃気付いたのでした（オッサン気付くの遅くてごめん）。 逐次モンテカルロ/(粒子|パーティクル|モンテカルロ)フィルタを実装してみた - My Life as a Mock Quant で、さらに言うと@ibaibabaibai先生からこんなツッコミを頂戴いたしまして。。。 トレンド２階差分で全部正規ってモデルですよね。これでSTAN? 普通はまずカルマンフィルタでは。最小２乗法＋周辺尤度最大化で（超）パラメータ決定でも長さ１００Ｘ３本ならできるのでは。俺なんかまた勘違いしてるのかなあ。http://t.co/RgQLiXY9yv— baibai (@ibaibabaibai) 2014, 6月 24 ということで、一旦Stanシリーズ記事は中休みにして（今後
前回リストの記事から半年ぐらい経ちましたよー、ということで初心者向けに関しても書籍リストをアップデートした最新版のリストをお送りします。あまり中身が変わってないかもしれませんが、かぶっている本は良い本だということで（笑）。 ところで、昨年秋に比べると「これから統計学・機械学習について学びたい！」という人たちの動機が変わってきているような気がしなくもないんですね。以前は主に「エンジニアでこれからデータ分析について学びたい」という層が多かったんですが、最近になって「営業や企画をやっているんだけど数字を見る際にデータ分析とか知っていると良いことがありそう」という層が増えてきているように見聞します*1。 そういう意味で言うと「エンジニア向けの本を推薦するのが必ずしもベストとは限らない」という側面もありそうなんですが、それは次回までの宿題ということで、今回も基本的にはエンジニア向けの本を一旦揃えてみ
さて、前回リストの記事から半年ぐらい経ちましたよーということで、それ以降に発刊された書籍などを吟味した上で更新したリストをお届けしたいと思います。といっても引き続き今回のリストにも入っているものが多いので変わり映えしないかもですが。。。 前回同様、統計学や機械学習にまつわる学術的な知識を得るだけにとどまらず、ビジネスにおけるデータ分析のプロとして知っておきたい知識を得るために必要な書籍もリストに入れてあります。 確率論まわりの基礎理論についての書籍は僕自身が勉強途中なので割愛しました*1。またコーディングまわりの本は一旦割愛してあります。というか僕はエンジニアとは言い難い身なので（泣）、コーディングまわりや詳細な実装プロセスなどは適宜必要な本を読んで下さいということで。。。 そして改めての断り書きですが、これは「ある程度既に統計学や機械学習などに馴染みがあってそれなりにPythonでコード
グローバルTokyoRで何話そうかなー、と思っていたんですがそう言えば主賓がvisualizationの人なんだったっけなぁということで、可視化の話にでもしようかなと。ということで、僕の大好きなネタでもやろうかと思います。 それは、「とにかく{arules} + {arulsViz}で可視化してしまえ」戦略。基本的に世の中のデータマイニングにせよ分類問題にせよ、実は様々な説明変数の共起（？）関係で表せることが多く*1、そういう時は何だかんだでassociation rulesを使うのが一番手っ取り早いんですよね。僕自身の勉強不足を補う目的からも（汗）、ちょっと書いてみようと思います。 アイテム間の条件付き確率たくさん→ベイジアンネットワークもどき→有向非循環グラフ 基本的に、association rulesはアイテム間の共起確率をある状態に対する条件付き確率として出すものです*2。そして
今日何気なく呟いたツイートが、見ていたら結構RT&favされていた模様で。 社会人が統計学とか機械学習を独習するには、いわゆる「落下傘方式」が良いと思う。必要な時にその項目だけ学んで実践する。その繰り返しで学問体系のマス目が埋まっていけば良し。あと、初めに体系立ったテキストを分からなくても良いので通読するのも良し。だいたいの地図が頭に入る。— TJO (@TJO_datasci) 2014, 3月 31 この後も色々補足で呟いたんですが、せっかくなので簡単にまとめたものを書いてみました。これから社会人で統計学や機械学習を学ぼうと考えている人の参考になれば嬉しいです。 あ、これはベタな言い方をすれば「データサイエンティスト（死語）になるにはどうしたら良いか」にもつながる話なんですが、ここではもっと広く「統計学や機械学習を使う仕事をしたいと思ったらどう独習するべきか」という話にしておこうと思い
あけましておめでとうございます。本年もよろしくお願いいたしますー。ということで新年最初の記事なんですが、新年早々にask.fmでこんな質問をいただきましてですね。 はじめまして．ブログ記事で勉強させて頂いております． 生存分析（COX比例ハザード解析）における多変量解析の変数選択およびモデル評価の指標としてAICおよびc-indexがありますが，いずれが優れた方法と思われますか． 10個の独立変数を1つに合成した変数Aと，3個の独立変数を1つに合成した変数Bとではいずれが予後予測能力が優れているか比較したいのです．変数Bの有する独立変数を変数Aは全て有しています． 実はCoxの比例ハザードモデルを僕自身は今までのところ実務では使ったことがなくてですね、知ったかぶりできるかどうかも微妙なラインなんですが（汗）、自分の勉強も兼ねて「AICとc-index (concordance index)
このシリーズ記事では、Rで*1色々な機械学習のアルゴリズムについて、それらがどんなものなのかを簡単なデータに対して分離超平面・決定境界を描きながら見てきました。 パッケージユーザーのための機械学習(1)：決定木 - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(2)：ロジスティック回帰 - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(3)：サポートベクターマシン(SVM) - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(4)：ニューラルネットワーク - 銀座で働くデータサイエンティストのブログ パッケージユーザーのための機械学習(5)：ランダムフォレスト - 銀座で働くデータサイエンティストのブログ ということで今回はおさらいとして、これまで見てきた教師あり学習同士で分離超平面・決定境界のプ
（前回記事はこちらから） ベイジアンの知識もいい加減な僕がこんなシリーズ記事を書くとかほとんどギャグの領域なんですが（汗）*1、2回目の今回の記事ではそもそもMCMCって何だったっけ？ってところから始めようと思います。 今回参考にするのは、主に久保先生の緑本です。そもそもGLM～GLMM～階層ベイズ＋空間統計学について生態学研究をモチーフに分かりやすく書かれた本ですが、後半はMCMCの話題で統一されています。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学) 作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (18件) を見る MCMCまわりでは他にも非常に多くの良書がありますが、「初心者向けにも分かりやすくて」「段階を追って」「なぜ
本シリーズ記事のカテゴリからPythonが消えて久しい今日この頃ですが、皆様いかがお過ごしでしょうか*1。とかいう前口上はどうでも良くて、とっとと今回のお題に入りましょう。今回はクラスタリングのド定番、K-means（k平均）クラスタリングです。 K-meansはどの本にも載っている手法なので参考文献には何を挙げても良い気がしますが、とりあえずこれまたド定番ということで相変わらずはじパタを挙げておきます。 はじめてのパターン認識 作者: 平井有三出版社/メーカー: 森北出版発売日: 2012/07/31メディア: 単行本（ソフトカバー）購入: 1人 クリック: 7回この商品を含むブログ (4件) を見る ちなみにPRMLでも下巻のp.140-146で触れてて*2、K-meansアルゴリズムとEMアルゴリズムとの類似点についてもコメントがあります。この辺はまた後で触れることにしましょう。 ま
さて、教師あり学習の方はひと段落ついたので、今度は教師なし学習の話をやっていこうかと思います。と言っても僕が知っている範囲でなおかつ常用するような教師なし学習はRでの実装が割と貧弱なので、シリーズとしてはあまり面白くない感じになりそうです（笑）*1。一応、単なるプランですが 階層的クラスタリング k-meansクラスタリング 主成分分析・独立成分分析 混合正規分布（EMアルゴリズム） 混合ディリクレ過程 あたりを取り上げれば良いのかなと思ってます*2。教師あり学習5編との比較のために、相変わらずサンプルデータにXORパターンとか使おうかなとは考えてますが、もしかしたら面白くないからとかいう理由でサンプルデータは変えるかもしれませんので悪しからず。 今回は階層的クラスタリングからいってみましょう。あれですよ、ウォード法とか出てくるアレです。僕は実は怠慢なのであまり教師なし学習に関する書籍は持
統計学的検定の話を始めたら自分の勉強の方が止まらなくなってしまったので（笑）、ついでにやってみようと思います。ちなみにこの記事は前回のやたらブクマを集めた記事の続きみたいなものです。 そもそもビジネスの現場ではどういう「レベル」の統計学を使うべきなのか - 六本木で働くデータサイエンティストのブログ 例えば有意ではないという結果になった時にそれが「実際に帰無仮説が真」なのか「単にサンプルサイズが小さくて検出力が足りないだけ」なのか判断せよという問題。前者なら果てしなくサンプルサイズを大きくしても有意にはならないし、後者なら今度は効果量(effect size)のことを考えなければいけません。 というように前回の記事では検出力(statistical power)と効果量(effect size)について触れたんですが、タイムリーに先日の第36回TokyoRでその辺の話をしてきたので*1、そ
早いもので、2013年も過ぎようとしているこの年末ですが。一応ブログのタイトルに「データサイエンティスト」と入っているので（笑）、せっかくなのでこの1年間のデータサイエンティストにまつわる狂想曲と、僕自身の今年のヒストリーとを簡単に振り返ってみようと思います。 とりあえず、ざっとトレンドを掴むためにGoogleトレンド「データサイエンティスト」の結果を載せておきます。 もう見るからに、全力でバズってから一気に下降線をたどってるのがよく分かりますねー。ここまであからさまだと実に清々しいです。 それは、HBR日本版2月号の「データサイエンティスト」特集から始まった 以前の記事でHBR本家版に載っていたDavenportの論説について取り上げましたが、それが日本語版になったのが2月号だったようです。確か12月か1月ぐらいに刊行されていたような記憶が。 2013年2月号目次 | 特集：ビッグデータ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
