はてなブックマーク

研究に使えるデータセットです． テキストデータ 青空文庫 情報学研究データリポジトリ (NII) 言語資源カタログ (言語資源協会) LDC - Linguistic Data Consortium Tweets2011…TREC 2011 microblog trackで使用されたツイートデータセット． 言語処理学会論文誌LaTeXコーパス…言語処理学会の「自然言語処理」に掲載された論文のLaTeXソースファイルです． 国立国会図書館書誌データ 辞書，シソーラス，対訳データ 日本語WordNet つつじ：日本語機能表現辞書 公開資源 - 東北大学 乾・岡崎研究室…自然言語関連ツールやリソースの公開（日本語評価極性辞書を含む） 形態素解析ツールの品詞体系…Juman品詞体系とChaSen品詞体系（IPA品詞体系）の一覧表 日本語対訳データ 共通語彙基盤　コア語彙2.0（検証版）…IPAが公

トピックモデル 潜在的トピックモデル（私のブックマーク）…潜在的トピックモデルに関する概要とポインタ 統計数理研究所 H24年度公開講座 「確率的トピックモデル」サポートページ 確率的トピックモデル（持橋 大地） トピックモデルの応用：イントロダクション（石黒 勝彦）…LDAのさまざまな拡張モデルに関する説明（DTM含む） 確率的潜在変数モデル最前線（佐藤 一誠, DEIM 2012） NLP Programming Tutorial 7 - トピックモデル -（Graham Neubig） David M. Blei: Topic modeling…Bleiのトピックモデルに関するホームページ．各種チュートリアルとプログラムへのリンクあり Probabilistic Topic Models（David M. Blei, KDD 2011のチュートリアル） Probabilistic T

はじめに このページでは，Python 2.7系における日本語処理について記述する． Python 3.x系については当てはまらないことが多いので，注意が必要である． 使える文字コード Pythonでは，日本語は次のような文字コードを使って扱うことができる．プラットフォームによって使う文字コードが違う． UTF-8 (utf_8)…Unicodeの文字符号化の一つ．OS X環境の日本語の文字コード． Shift-JIS (shift_jis)…パソコンで用いられていた日本語の文字コード． ISO-2022-JP (iso2022_jp)…電子メールの送受信に用いられる日本語の文字コード． EUC-JP (euc_jp)…Unix環境で用いられていた日本語の文字コード． Code Page 932 (cp932)…Windows環境の日本語の文字コード．Shift-JISの一つのバリエーショ