NIPS 2009で発表された論文"Polynomial Semantic Indexing" [1]を読んだ。これは低ランク近似を用いた教師ありの情報検索に関する手法である。 情報検索について 与えられたクエリに関して適当な重みづけをおこなって順位づけして、適切な文章を返却するという問題は古くから研究されている。 オーソドックスな方法としては文章をbag-of-wordsで表して各単語の重みをtf-idfで正規化し、クエリに関しても同様な処理を行いコサイン類似度などの距離尺度を使って最も近い何件かを返すというものがある。この方法の欠点としてはクエリの単語を含まない文章はヒットしないという問題がある。これは各単語が独立であるという仮定を行っているためであり、明らかに誤っている仮定である。 もう一つの方法としては文章-単語行列が低次元の特徴量によって近似する方法である。代表的な方法としてLS
LATENT SEMANTIC INDEXING Taking a Holistic View Regular keyword searches approach a document collection with a kind of accountant mentality: a document contains a given word or it doesn't, with no middle ground. We create a result set by looking through each document in turn for certain keywords and phrases, tossing aside any documents that don't contain them, and ordering the rest based on some r
[ 連載 ] フリーソフトによるデータ解析・マイニング第 26 回 Ｒ と対応分析 １ ．対応分析とは 対 応分析(correspondence analysis)は、フラ ンスのベンゼクリ(Benzécri)によって 1960 年 代に提唱され、 1970 年代から普及し始めたカテ ゴリカルデータの解析方法で、コレスポンデン ス分析とも呼ばれている。 類 似の方法としては、 1950 年代に林知己夫氏 によって提案された数量化Ⅲ類、 1980 年代に西 里静彦氏によって提案された双対尺度法 (dual scaling) などがある。それぞれの方法が提案さ れた背景は異なるが、基本的なアプローチおよ びアルゴリズムの中核は同じである。 デ ータ形式によっては、それぞれの手法の解 析結果は変換によって一致させることも可能で ある。一時的には、数量化Ⅲ類と対応分析は異 なるデータ分析方法
By Ilya Grigorik on January 15, 2007 One day, a bunch of friends, who happened to be big Family Guy fans, decided to put together a site to rank and share their thoughts on the show. Soon thereafter they had a Rails site up and running, and all was well, and other fans joined in hordes. A web 2.0 success! Then one day they realized that they could no longer track everyone's ratings, their user-bas
_090624 1 LSA(Latent Semantic Analysis) _090624 _090624 2 • LSA • • • _090624 3 LSA • LSA( ; Latent Semantic Analysis; Landauer & Dumais, 1997) – (Dumais, Furnas, Landauer, & Deerwester, 1988; Deerwester, Dumais, Furnas, Landauer, & Harshman, 1990) • Latent Semantic Indexing (LSI) • LSA • e.g., “car” “automobile” – – _090624 4 LSA • – • – – 1997 Landauer & Dumais, 1997 _090624 5 LSA • LSA – – _090
0.1 0.1.1 Latent Semantic Indexing Latent Semantic Indexing :LSI の次元まとめて次元を下げるという作業を行 なうわけである。 さて、次元を下げるということは当然情報 の損失を伴うわけだが、この損失を最小限に くいとめるために最小二乗誤差 という考え方 で望む。 2 とは ベクトル空間モデルではタームの生起が独 立であることを仮定して、各タームを一つの 次元に対応させるベクトル空間を作った。し かし、実際にはターム間の独立性は保証され ない。例えば、情報検索の分野では「ベクト ル」と「空間」は高い相関を持つことは容易 に予想できる。この問題への対策としては以 下の 2 点が重要である。 0.1.2 特異値分解 LSI で 用 い る 数 学 的 し か け は 特 異 値 分 解 (Singular Value D
Vector Space, Probabilistic LSI, and LDA
Thoughts on Information Retrieval, Search Engines, Data Mining, Science, Engineering, and Programming source: http://www.cs.princeton.edu/~blei/papers/BleiNgJordan2003.pdf There is a kind of buzz about Probabilistic Latent Semantics Indexing, so this post goes. From VSM to LSI Prior to 1988 the prevalent IR model was Salton’s Vector Space Model (VSM). This model treats documents and queries as vec
ちょっとした実験をしてみました。芸能人の相関関係を機械的に探索してみます。 具体的には「○○というタレントと関係が深い芸能人は？」といった、芸能人にフォーカスした類似検索みたいな実験です。 技術的には「潜在的意味インデキシング」（Latent Semantic Indexing）といった手法を使います。 これは普通は自然言語処理の世界で使われるテクニックですが、なにも言語だけでなく他のデータ素材でも面白い結果が得られるかもしれないので、やってみようという試みです。 以下に大まかな手順をまとめます。 wikipedia から有名人のリストを抽出 それらの有名人リストについて、一人ずつ「誰と関連が深いか」を集計。具体的には有名人個々のwikipediaのページ中に、先ほど抽出しておいた人名リストとマッチする人名がどれだけ掲載されているかをピックアップしていきます。 上記の方法で有名人の間の相関
id:naoya さんのLatent Semantic Indexing の記事に触発されて、ここ1週間ほどちょくちょく見ている行列の近似計算手法について書いてみる。ここでやりたいのは単語-文書行列(どの単語がどの文書に出てきたかの共起行列)や購入者-アイテム行列(どの人がどの本を買ったかとか、推薦エンジンで使う行列)、ページ-リンク行列(どのページからどのページにリンクが出ているか、もしくはリンクをもらっているか。PageRank などページのランキングの計算に使う)、といったような行列を計算するとき、大規模行列だと計算量・記憶スペースともに膨大なので、事前にある程度計算しておけるのであれば、できるだけ小さくしておきたい(そして可能ならば精度も上げたい)、という手法である。 行列の圧縮には元の行列を A (m行n列)とすると A = USV^T というように3つに分解することが多いが、も
情報検索におけるベクトル空間モデルでは、文書をベクトルとみなして線形空間でそれを扱います。この文書ベクトルは、文書に含まれる単語の出現頻度などを成分に取ります。結果、以下のような単語文書行列 (term document matrix) が得られます。 d1 d2 d3 d4 Apple 3 0 0 0 Linux 0 1 0 1 MacOSX 2 0 0 0 Perl 0 1 0 0 Ruby 0 1 0 3 この単語文書行列に対して内積による類似度などの計算を行って、情報要求に適合する文書を探すのがベクトル空間モデルによる検索モデルです。 見ての通り、単語文書行列の次元数は索引語の総数です。文書が増えれば増えるほど次元は増加する傾向にあります。例えば索引語が100万語あって検索対象の文書が 1,000万件あると、100万次元 * 1,000万という大きさの行列を扱うことになりますが、単
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PythonでLatent semantic analysis
