まとめ 時系列のトピックモデルを扱うDTMのライブラリが Segmentation Fault で落ちる… main.c の 40行目 0 -> false に修正するとOK 詳細 現象 LDAなどで有名なBlei-Labで公開されているDTMを gcc 4.8.X でコンパイルすると， “main”実行時に Segmentation Fault: 11 で落ちる． 環境 Source: https://code.google.com/p/princeton-statistical-learning/downloads/detail?name=dtm_release-0.8.tgz&can=2&q= https://github.com/Blei-Lab/dtm コンパイルなど g++ (GCC) 4.8.3 @ CentOS7.1 なにが問題か？
This implements topics that change over time (Dynamic Topic Models) and a model of how individual documents predict that change. This code is the result of work by David M. Blei and Sean M. Gerrish. (C) Copyright 2006, David M. Blei (C) Copyright 2011, Sean M. Gerrish It includes software corresponding to models described in the following papers: [1] D. Blei and J. Lafferty. Dynamic topic models.
✔ Train large-scale semantic NLP models ✔ Represent text as semantic vectors ✔ Find semantically related documents from gensim import corpora, models, similarities, downloader # Stream a training corpus directly from S3. corpus = corpora.MmCorpus("s3://path/to/corpus") # Train Latent Semantic Indexing with 200D vectors. lsi = models.LsiModel(corpus, num_topics=200) # Convert another corpus t
LDA などのトピックモデルの評価指標として、Perplexity と Coherence の 2 つが広く使われています。 Perplexity はモデルの予測性能を測るための指標であり、Coherence は抽出されたトピックの品質を評価するための指標です。 トピックモデルは確率モデルであるため、Perplexity の定義は明確です。 一方、Coherence は「トピックが人間にとって分かりやすいかどうか」を評価する必要があるため、その算出方法について様々な議論があります。 本記事では、Coherence に関する研究の中で、主要な流れを作っている、特に重要な 5 つの論文をピックアップして紹介したいと思います。 Coherence とは Coherence は、「トピックが人間にとって分かりやすいか」を表す指標です。 例えば、トピックが { farmers, farm, food
tokyor-document - Presentation Transcript Rによる文書モデルの可視化 ～ディリクレ分布、混合ディリクレ分布、LDA #tokyoR @nokuno 自己紹介 2 Twitter: @nokuno はてな：id:nokuno 自然言語処理勉強会を主催（第2回は9/25開催） PRML/R/Python/Hadoopなど 2002～2006：コミケで同人ゲーム売ってた 2007～2008：未踏でSocial IMEの開発 2009～現在：Web業界勤務（←今ここ） 今日の話題 3 文書モデルとは Wikipediaの可視化 生成モデルの可視化 ディリクレ分布 混合ディリクレ分布 LDA 文書モデルとは 4 文書の生成確率をモデル化 単語の多項分布を利用するのが一般的 文書を、その文書が含む単語の割合で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
