3. 2010/3/7 PRML読書会 第12回 3
二つの近似法
• 近似法は近似が確率的か決定的かで分けられる
確率的手法 決定的手法
代表的な手法 MCMC(11章) 変分ベイズ、EP(10章)
長所 無限の時間があれば厳密 大規模な問題にも適応できる
な結果を計算できる 確定的に解が求まる
短所 学習結果が収束するまで 近似した結果しか得られない
の時間が膨大
• 確率的な手法の場合でもCollapsed Gibbs Samplerなどがあり、必
ずしも変分ベイズの方が高速とは限らない
• Griffiths, T. and Steyvers, M. (2004). Finding scientific topics. In
Proceedings of the National Academy of Sciences, 101, 5228-5235
• Yao, L., Mimno, D., and McCallum, A. Efficient Methods for Topic
Model Inference on Streaming Document Collections. In SIGKDD,
2009, 937-946
4. 2010/3/7 PRML読書会 第12回 4
• NLPでよく用いられるLDAというモデルでは変分ベイズ法より
Collapsed Gibbs Samplerの方が高い性能を示す
• A. Asuncion, M. Welling, P. Smyth and Y.W. Teh: On Smoothing
and Inference for Topic Models, In UAI 2009
5. 2010/3/7 PRML読書会 第12回 5
• どの手法を用いるのが良いかは解く問題に依存する
• Hal Daume III, natural language processing blog,
http://nlpers.blogspot.com/2007/07/collapsed-gibbs.html
• Mark Johnson, Why doesn’t EM find good HMM POS-Taggers?, In
EMNLP 2007
42. 2010/3/7 PRML読書会 第12回 42
関連資料
• D. M. Blei, A. Y. Ng, and M. I. Jordan. Latent Dirichlet
Allocation. JMLR, 2003
• 樺島祥介, 上田修功. 統計科学のフロンティア 11 計算統計I-
確率計算の新しい手法 第III部, 岩波書店, 2003
• Y. W. Teh, D. Newman and M. Welling. A Collapsed
Variational Bayesian Inference Algorithm for Latent
Dirichlet Allocation. NIPS, 2006