【概要】 ベイズ推論について実装して理解するシリーズ 今回は、MCMCアルゴリズムの一つであるギブスサンプリングです ギブスサンプリングによって線形回帰（ベイズ線形回帰）を近似推論してみました 【目次】 はじめに 近似ベイズ推論 ギブスサンプリング (Gibbs Sampling) ギブスサンプリング のアルゴリズム ギブスサンプリングによる確率分布の近似推論の実装 2次元ガウス分布の近似推論 近似解 ベイズ線形回帰の近似推論 モデル サンプルデータ 解析解 近似解 線形回帰問題の条件付き分布の導出過程メモ 実装コード全体 おわりに 参考文献 はじめに ベイズ推論についての書籍を読んでいると、なんとなく理解はできても具体的なイメージってつきにくくないですか？ ということで、実装して理解を深めていきたいと思います。 本記事ではベイズ推論における近似推論について扱います。 ベイズ推論では「MC
第11章 サンプリング法 B4 近松京介 原さん(東北大助教授) ドクターのときの原さんのパワポ改良ましまし版 11章の内容 • 基本的なサンプリングアルゴリズム – 棄却サンプリング・適応的棄却サンプリング – 重点サンプリング – SIR – サンプリングとEMアルゴリズム – データ拡大アルゴリズム • マルコフ連鎖モンテカルロ – Metropolis-Hastingsアルゴリズム • ギブスサンプリング • スライスサンプリング • ハイブリッドモンテカルロアルゴリズム 1 目次 • MCMCを使わないサンプリング – 逆関数法 – 棄却サンプリング – 適応的棄却サンプリング – 重点サンプリング – SIR • MCMCサンプリング – メトロポリス法 – ギブスサンプラー 2 今回の目的 • そもそもサンプリングとはなにか理解する • サンプリング手法を概観・整理 •メトロ
ベイズ統計モデリングをpymc3を使って学ぶ 最近、ベイズ統計モデリングに興味があり、勉強をはじめた。学んだ結果の記録も兼ねて、ブログもやってみることに。 幾つかのWebや書籍を調べてみると、ツールとしてはstanが主流の模様。Rやpythonのラッパもあるようだが、一旦コンパイルが必要など少し面倒な印象。ここは、好きなpythonオンリーで書けるpymc3で学ぶことにする。ベイズ統計モデルとpymcの勉強だが、どちらかと言うとpymcに軸足を置き、stanコードのpymc化や、公式HPのexampleをトレースしつつ学んでいこう、という感じ。 pymc3のインストール anacondaを使っていれば、簡単にインストールできる。 conda install -c conda-forge pymc3 現在のバージョンは3.5で、リリースノートによると幾つかの機能アップデートがあった模様。 個
MCMC (Markov chain Monte Carlo) is a family of methods that are applied in computational physics and chemistry and also widely used in bayesian machine learning. It is used to simulate physical systems with Gibbs canonical distribution: $$ p(\vx) \propto \exp\left( - \frac{U(\vx)}{T} \right) $$ Probability `$ p(\vx) $` of a system to be in the state `$ \vx $` depends on the energy of the state `$U
図4.4: Stanの変数宣言の型と対応するプリミティブな実装の型の表. Stanの関数・演算子・確率関数は引数と戻り値の型を持ち, それらはプリミティブな型と配列次元数によって宣言されます. 型推定の規則 Stanの型推定規則は, 変数宣言の背後にある組み合わせに基づいて, ある式の実装の型を定義します. この規則は, プリミティブなリテラルと変数の式から, 複合した式へとボトムアップに作用します. リテラル 42のような整数リテラルの式はint型です. 42.0のような実数リテラルはreal型です. 変数 局所的に, あるいは前のブロックで宣言された変数の型はその宣言で決定されます. ループ変数の型はintです. 各変数の宣言は, スコープ毎に常に唯一となります. Stanでは, 既に宣言された変数をもう一度宣言することを禁止しているからです. 5 インデックス操作 xが全体の次元数が
The Bayesian method is the natural approach to inference, yet it is hidden from readers behind chapters of slow, mathematical analysis. The typical text on Bayesian inference involves two to three chapters on probability theory, then enters what Bayesian inference is. Unfortunately, due to mathematical intractability of most Bayesian models, the reader is only shown simple, artificial examples. Th
マルコフ連鎖モンテカルロ法（マルコフれんさモンテカルロほう、英: Markov chain Monte Carlo methods、通称MCMC）とは、求める確率分布を均衡分布として持つマルコフ連鎖を作成することによって確率分布のサンプリングを行う種々のアルゴリズムの総称である。具体的には、同時事後分布に従う乱数を継時的に生成する。代表的なMCMCとしてメトロポリス・ヘイスティングス法やギブスサンプリングがある。 MCMCで充分に多くの回数の試行を行った後のマルコフ連鎖の状態は求める目標分布の標本として用いられる。試行の回数を増やすとともにサンプルの品質も向上する。 求められる特性を持つマルコフ連鎖を作成することは通常難しくない。問題は許容できる誤差内で定常分布に収束する試行の回数を決めることである。適切な連鎖なら任意の位置から始めても定常分布に速く達し、これを高速混合（rapid mix
本書は，モンテカルロ法の実践的な解説書であり，統計解析ソフトのRを用いた豊富な実例と練習問題が組まれている．モンテカルロ法とは乱数を用いて数値計算を行う手法の総称であり，本書で扱う内容は乱数の発生からモンテカルロ積分，そしてマルコフ連鎖モンテカルロ法（MCMC）の各種アルゴリズムに至るまで非常に幅広い．たいていの解説には理論に実践演習が付随した形となっており，数学的な理論を軸にして実際にRを用いたコード例が示される． 練習問題を解きつつ読書ノートをまとめてみる そんなこんなで，久保本と並行する形で「Rによるモンテカルロ法入門」を読んでいる．一応MCMCの部分だけひと通り目を通したのだが，最終的にMCMCの実装までひと通りやるにしても一連の流れを簡単にでも追っておかなければと思って，最初の乱数の部分からじっくり読み進めている．これがなかなか難しくて，手も足も出ないところをなんとかRのコードを
PRMLの11章で出てくるマルコフ連鎖モンテカルロ法（Markov chain Monte Carlo methods: MCMC）。ベイズでは必須と呼ばれる手法だけれどいまいち理屈もありがたみもよくわからなくて読み飛ばしていました。 最近、ボルツマンマシンを勉強していて、ベイズと関係ないのにマルコフ連鎖やらギブスサンプラーやらが出てきて本格的にわからなくなってきたのでここらで気合を入れて勉強し直すことにしました。 参考にした書籍は「Rによるモンテカルロ法入門」です。PRMLと同じく黄色い本なので難易度が高そう・・・この本はR言語を使って説明がされていますが、それをPythonで実装しなおしてみようかなーと計画中。numpy、scipyの知らなかった機能をたくさん使うので勉強になりそう。 ただRにしかないパッケージを使われると途中で挫折する可能性が高い・・・あと内容が難しすぎて途中で挫折す
生態学で使われるデータ解析・統計モデリングをあつかうサイトです． サイト管理者: 久保拓弥 内容: 統計学授業, R 関連, GLM 関連, GLMM 関連, ベイズ統計 & MCMC, よくある質問 などなど 全ペイジ一覧 統計学授業など 統計学授業: 久保の北大での授業 (cf. ELMS) 統計学授業の教科書: 「データ解析のための統計モデリング入門」 集中講義・セミナーなどはこちら 配信版: 配信版・統計モデリング入門 よくある質問あれこれ 生態学会大会などでの活動 生態学会の自由集会など (これまでの一覧) 2018 年 3 月 札幌大会: データ解析で出会う統計的問題: R の新しい作図・作表 生態学会誌などに掲載された 解説文一覧 (ダウンロードできるものものあります) 参考：Statistical Ecology Virtual Issue (Methods in Ecol
新規作成日:2015年12月5日 最終更新日:2016年9月22日 理論がわかっても、実践ができなければ意味がありません。 ここでは、Stanというフリーソフトを使って、ベイズ統計学をもとにしたパラメタ推定をパソコンで実行する方法を説明します。 ベイズとMCMCの組み合わせでもって統計モデルのパラメタを推定することができるのでした。この方法を、以下では「ベイズ推定」と呼ぶことにします。 ここでは、Stanを用いて統計モデルのパラメタのベイズ推定をする方法を説明します。 重要な点は、「Stanの使い方」を覚えるだけではうまくいかないということです。 Stanの内部で使われているのは乱数生成アルゴリズムです。乱数を生成してパラメタを推定するという行為は、最小二乗法なりで方程式を解き、パラメタを一発で推定するやり方とは大きく異なります。 その違いをぜひ理解なさってください。 コードをまとめたもの
このページをご覧いただき、ありがとうございます。 ここでは、情報量規準 WAIC を紹介しています。 ベイズ推測のための情報量規準(WAIC)が導出されました。 WAIC は（真の分布、確率モデル、事前分布）がどのような場合でも使う ことができます。他の規準と異なり理論的な基盤を持っています。 (0) モデル選択やハイパーパラメータの最適化に使えます。 (1) 漸近的に汎化損失と同じ平均値と同じ分散を持ちます。 (2) WAIC は簡単に計算できます。 (3) 真の分布が確率モデルで実現可能でなくても使えます。事前分布が真の事前分布でなくても使えます。 (4) 平均対数損失を最小にするパラメータがユニークでなくても使えます。 平均対数損失を最小にするパラメータが特異点を含む解析的集合であっても 使えます（注１）。 (5) フィッシャー情報行列が正則でなくても使えます。 (6) 事後分布が正
岩波データサイエンス サポートページ 各巻に対応する内容は，上のバーの３本線「三」をクリックして左に表示されるメニューからご覧ください （トップページの内容が空白の場合も，メニューで下位の階層をクリックして頂くと内容が表示される場合があります） 新グーグル・サイトに移行しました．自動変換のため，見難くなっている部分，表示されない部分がありますが，ご容赦ください シリーズ「岩波データサイエンス」では、統計科学や機械学習など、データを扱うさまざまな分野について、多様な視点からの情報を提供することをめざします。まったくの初歩からやや高度な話までのいろいろな手法の解説、実務に役立つソフトの使い方、さらには各領域のサイエンスや応用に踏み込んだ内容まで、多彩な記事を掲載します。 装丁には蛯名優子さんの作品を使わせて頂いています。蛯名さんのホームページはこちらです。 【公式ツイッターアカウント】ツイッタ
大きく2つの観点があります。 計算の仕方（逐次処理かバッチ処理か）という観点と、私たちがやらなければいけない作業（パラメタ推定を別途やるかやらないか）がどう変わるかという観点です。 逐次処理とバッチ処理 最も大きい違いは、逐次処理かバッチ処理かの違いでしょう。 フィルタ系は逐次処理、MCMC系はバッチ処理です。 バッチ処理とは「データをまとめていっぺんに使って、まとめていっぺんに計算すること」くらいの意味合いだととらえてください。 例えば、データが増えるたびに1を足すという処理があったとします。 データが来るたびに1を足すのが逐次処理。 データが5つ来たならば、「1を足す処理を最後にまとめて5回やる」のがバッチ処理です。 当然ですが、逐次処理のほうが、一回一回の計算量は少なくなります。 一方、バッチ処理の場合は、「1を足す処理を最後にまとめて5回やる」という処理を、時と場合によっては「最後
（前回記事はこちらから） ベイジアンの知識もいい加減な僕がこんなシリーズ記事を書くとかほとんどギャグの領域なんですが（汗）*1、2回目の今回の記事ではそもそもMCMCって何だったっけ？ってところから始めようと思います。 今回参考にするのは、主に久保先生の緑本です。そもそもGLM～GLMM～階層ベイズ＋空間統計学について生態学研究をモチーフに分かりやすく書かれた本ですが、後半はMCMCの話題で統一されています。 データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学) 作者: 久保拓弥出版社/メーカー: 岩波書店発売日: 2012/05/19メディア: 単行本購入: 16人 クリック: 163回この商品を含むブログ (18件) を見る MCMCまわりでは他にも非常に多くの良書がありますが、「初心者向けにも分かりやすくて」「段階を追って」「なぜ
時系列データの統計モデリングについて 生態学会大会2015, 生態学会大会2016 ベイズ統計 & MCMC, 空間統計学 も参照 [もくじ] R で時系列データ解析 library(KFAS) 一般化状態空間モデルをあつかう library(sspir) ちょっとメモ 現代的な時系列データの統計モデルは何をやっているのか? R で時系列データ解析 RjpWiki 内の 時系列データオブジェクト に関する情報 library(KFAS) 野村俊一さん (2016) 「カルマンフィルタ」(共立出版) サイト 一般化状態空間モデルをあつかう library(sspir) library(sspir) (CRAN) これは時系列データの一般化状態空間モデリング (state space modeling) を可能にしている R Graphical Manual に掲載されてる sspir の 図
教科書化のお知らせ: この「講義のーと」が 教科書 として出版されました!! (2012-05-18) 講義のーと PDF ファイルは北大図書館 HUSCAP からダウンロードできます (2012-07-13) 統計学の授業やります (2008 年度後期, 2008 年 10 月 27 日より) 教室: 北大・地環研 A 棟 8F A803A 教室 講釈: 久保拓弥 2008 年 10/27-11/13 の講義 (+ 補講 2 回) (第 1 回) 10/27 (月) 生態学データ解析の統計モデリングとは? (第 2 回) 10/30 (木) さまざまな確率分布と最尤推定 (第 3 回) 11/06 (木) 一般化線形モデル (GLM) 1 -- ポアソン回帰 (第 4 回) 11/10 (月) 一般化線形モデル (GLM) 2 -- ロジスティック回帰 (第 5 回) 11/13 (木)
講義のーと の内容を詳しく説明したものです 著者: 久保拓弥 出版社: 岩波書店, シリーズ「確率と情報の科学」 編集: 甘利俊一，麻生英樹，伊庭幸人 このペイジの省略 URL: http://goo.gl/Ufq2 刊行と まちがい・修正一覧) 第 1 刷刊行: 2012 年 5 月 18 日 第 15 刷刊行: 2018 年 3 月 15 日 原稿時点の PDF ファイル (参考用) 目次, さくいん, まえがき 韓国語版 (翻訳は滋賀大の李鍾賛さん, 2017-09-15) 「統計モデリング入門」ネット上のあれこれ (のごく一部) 丸善・ジュンク堂書店の「今年驚いた! 1 冊」の「驚きの出版賞」 に選ばれました! (web archive, KuboLog 2012-12-20) Amazon カスタマーレビュー はてな出版物 -- 言及ブログへのリンクなどがあります! ブクログ,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon.co.jp： データ解析のための統計モデリング入門――一般化線形モデル・階層ベイズモデル・MCMC (確率と情報の科学): 久保拓弥: 本
