View the Project on GitHub mimno/Mallet Download ZIP File Download TAR Ball View On GitHub Mallet: MAchine Learning for LanguagE Toolkit MALLET is a Java-based package for statistical natural language processing, document classification, clustering, topic modeling, information extraction, and other machine learning applications to text. MALLET includes sophisticated tools for document classificati
Finding the K in K-Means Clustering
A couple of weeks ago, here at The Data Science Lab we showed how Lloyd’s algorithm can be used to cluster points using k-means with a simple python implementation. We also produced interesting visualizations of the Voronoi tessellation induced by the clustering. At the end of the post we hinted at some of the shortcomings of this clustering procedure. The basic k-means is an extremely simple and
株式会社ゴクロの中路です。 以前のベイズ分類をベースにしたSmartNewsのチャンネル判定で触れたように、SmartNewsで配信する記事を「スポーツ」「エンタメ」「コラム」のようなチャンネルに分類しているのは、人ではなく機械です。そのアルゴリズムとして前回ご紹介したのは「ナイーブベイズ分類器」ですが、記事の分類を行う手法は、他にも様々なものがあります。その中で今回はLatent Dirichlet Allocation(以下LDA)について、先日東京大学の博士課程の皆さんと、社内で合同勉強会を行った際に作成した資料をベースにご紹介します。 LDAでできることの例 前回ご紹介したナイーブベイズ分類器を構築する際には、すでにトピックのラベルが付けられた文章を、学習データとして用意する必要がありました。 一方、LDAの場合は、 東京でサッカー大会が開催された。xx選手のゴールが圧巻であった。
2. 背景 • 画像特徴 – SIFT: 128次元, GIST: 960 (384) 次元, FV/VLAD: ～数万次元 – 1M～1B枚レベルの画像検索とかしたいお… – でも画像の特徴ベクトルそのものを利用すると メモリに乗らないし類似検索もおそいお… – だからコンパクトなバイナリコードに変換するお！（テンプレ） （面白いけど応用を気にしている人があんまいない印象） • バイナリ化のメリット – コンパクト＋高速検索 (e.g., SSE 4.2 POPCNT) （参考）ビットを数える http://www.slideshare.net/takesako/x86x64-sse42-popcnt • 単純にユークリッド距離を近似することが目的の手法と supervisedでクラス分類を意識し距離学習も行う手法がある 3. Hashing "Similarity search in
Google News Personalization: Scalable Online Collaborative Filtering Abhinandan Das, Mayur Datar, Ashutosh Garg WWW 2007, May 8-12, 2007 Presented by: Jerry Fu 4/24/2008 1 1 Friday, May 9, 2008 Outline Introduction and problem Related work on recommendation algorithms Overview of combined recommendation algorithm Overview of MapReduce Algorithm implementation details Generation of recommendations
集合知プログラミング を読んでいたら、K-means 法（K平均法）の説明が出てきました。K-means 法はクラスタリングを行うための定番のアルゴリズムらしいです。存在は知っていたんだけどいまいちピンときていなかったので、動作を理解するためにサンプルを作ってみました。クリックすると１ステップずつ動かすことができます。クラスタの数や点の数を変更して、RESET を押すと好きなパラメータで試すことができます。こうやって１ステップずつ確認しながら動かしてみると、意外に単純な仕組みなのが実感できました。K-means 法とはK平均法 - Wikipedia に詳しく書いてあるけど、もうすこしザックリと書くとこんなイメージになります。各点にランダムにクラスタを割り当てるクラスタの重心を計算する。点のクラスタを、一番近い重心のクラスタに変更する変化がなければ終了。変化がある限りは 2. に戻る。これ
トピックモデルを用いて W e b 小説のジャンル・ 流行を分析しよう 2 0 1 3 / 0 3 / 1 9 ( K M C 春合宿2 0 1 3 ) 近藤 誠一 ( @ s e i k i c h i ) 自己紹介 近藤 誠一 (@seikichi): p༇ 大学院修士1回生 p༇ 情報学研究科知能情報学専攻 趣味: p༇ ラノベ，料理，アニメ 近況: p༇ 電子書籍を買いまくり読みまくり楽しすぎ p༇ シュウ……カツ……シュウ……カツ…… 目次 p༇ 今「小説家になろう」がアツい p༇ トピックモデルことはじめ p༇ Latent Dirichlet Allocation (LDA) を用いた Web小説ジャンル解析 p༇ Dynamic Topic Model (DTM) を用いた Web小説ジャンル遷移解析 p༇ まと
クラスタリング (clustering) とは，分類対象の集合を，内的結合 (internal cohesion) と外的分離 (external isolation) が達成されるような部分集合に分割すること [Everitt 93, 大橋 85] です．統計解析や多変量解析の分野ではクラスター分析 (cluster analysis) とも呼ばれ，基本的なデータ解析手法としてデータマイニングでも頻繁に利用されています． 分割後の各部分集合はクラスタと呼ばれます．分割の方法にも幾つかの種類があり，全ての分類対象がちょうど一つだけのクラスタの要素となる場合(ハードなもしくは，クリスプなクラスタといいます)や，逆に一つのクラスタが複数のクラスタに同時に部分的に所属する場合(ソフト，または，ファジィなクラスタといいます)があります．ここでは前者のハードな場合のクラスタリングについて述べます．
こんばんは @sleepy_yoshi です．Machine Learning Advent Calendar 2012 の11日目を担当します．サモア時間ではまだ12月11日なので間に合いましたね．今日はバイナリ素性ベクトルの内積計算にSSE4.2のpopcnt命令を用いて高速化することでk-NN分類器を高速化する話について書きます． このブログでは普段である調で書いていますが，今日はなんとなくですます調で書きます． k-NN (k Nearest Neighbor) 分類器はラベルを予測したい事例に対して，訓練データとして与えられたラベル付き事例集合の中からk近傍の事例のラベルを用いて予測する，という分類器です．k近傍を求めるために，訓練データに含まれる事例全てに対する類似度を計算する必要があります．類似度には様々な尺度が利用されますが，ここでは内積とします．そのためk個の近傍を発見す
2006年のデータマイニング学会、IEEE ICDMで選ばれた「データマイニングで使われるトップ10アルゴリズム」に沿って機械学習の手法を紹介します（この論文は@doryokujin君のポストで知りました、ありがとうございます！）。 必ずしも論文の内容には沿っておらず個人的な私見も入っていますので、詳細は原論文をご確認下さい。また、データマイニングの全体観をサーベイしたスライド資料がありますので、こちらも併せてご覧下さい。 データマイニングの基礎 View more presentations from Issei Kurahashi 1. C4.5 C4.5はCLSやID3といったアルゴリズムを改良してできたもので、決定木を使って分類器を作ります。決定木といえばCARTが良く使われますが、CARTとの違いは以下のとおりです。 CARTは2分岐しかできないがC4.5は3分岐以上もできる C
Amazonにもレビューを書いたのですが、高村さんの「言語処理のための機械学習入門」を読みました。実はこの本を読むのは2回目で、1回目はドラフト版のレビューをさせていただく機会があったのですが、そのときは「言語処理研究者のための機械学習入門」というタイトルで、ちょっと敷居が高いのではないかとコメントしたら「研究者」の部分が削られたという経緯があったりしました。 それはともかくとして、以前読んだときは時間もなくて実装までする暇はなかったのですが、今度はもうちょっとじっくり読みたいなということで、このブログに書いてみようと思います。EMアルゴリズムは教師なし学習を確率モデルと最尤推定でやろうとするときに必ず出てくる手法で、隠れ変数や欠損値を含む色々なモデルに適用できる汎用的なフレームワークになっています。一般的には混合ガウス分布の場合をまず説明して、それがk-means法の一般化した形になって
DBを革新させる「RAC」 仮想化などにより、拡張性や可用性を高める原理を詳説 Oracle DatabaseはDBエンジンとしての性能向上と並行して、DBシステムとしての技術も充実させてきた。中でも大きく進化したのが「RAC」だ。パート3ではテクノロジーの側面からRACを解剖すると共に、ストレージを仮想化する「ASM」などを用いてDBシステムの拡張性や可用性を高める仕組みを分かりやすく解説する。 安価なハードウェア（サーバー、ストレージ）を利用可能にしながら、性能や可用性、運用の容易性といった相反する要件を満足させる。Part1で示した通り、これがOracle Database 11g R2の最大の特徴である。それを支えるのが、複数のサーバーやストレージをあたかも1つのコンピュータ資源であるかのように使えるようにする「Oracle Real Application Clusters（RA
A Place to discuss Oracle VM, Linux and Other Great Software.サーバ仮想化環境では「リソースプール」という概念を実現するために共有ストレージ構成が多く採用されます。しかし、そもそも現在のCPU性能とDISK I/O性能を鑑みれば、そもそもDISK I/O性能はCPU性能の進化に追いついておらず、共有ストレージ構成とすれば追い打ちをかけるようにそこがボトルネックとなります。多くの環境ではサーバ仮想化環境では「共有ストレージ型前提。しかしこれまでの何倍ものI/O性能が必要」という要件に対応するため、ミドル〜ハイエンドのストレージ装置を採用するという選択を行っています。その結果初期導入費用が高価なのはもちろんですが、そのあとも莫大な保守費を支払うことになります。そして拡張できるものの、拡張するためのパーツがまた高価、というスパイラルに陥
人工知能基本問題研究会 (SIG-FPAI)でタイトルの題目で一時間ほど話してきました。 発表資料 [pptx] [pdf] 話した内容は - 自然言語処理における特徴ベクトルの作り方と、性質 - オンライン学習, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾配降下法 (SGD) - L1正則化, FOLOS - 索引を用いた効率化, 全ての部分文字列を利用した文書分類 で、スライドで70枚ぐらい。今までの発表とかぶっていないのはPA CW SGD FOLOSあたりでしょうか オンライン学習、L1正則化の話がメインになっていて、その両方の最終形の 確率的勾配降下法 + FOLOSの組み合わせは任意の損失関数に対してL1/L2正則化をかけながらオンライン学習をとても簡単にできるという一昔前
社内NEET宣言文学部出身なのにIT企業で研究開発をすることになった社員のブログです。
論文を読んだので内容のメモ．訳すというよりはボクの解釈のメモです．先日のエントリ 気が向いたので研究について書く は前置きでした． Fast unfolding of community hierarchies in large networks アブストラクト ソーシャル系のサービスは秩序と乱雑さを併せ持つ複雑ネットワークとして捉えられる．SNS や携帯電話のネットワーク，Web のように大規模なものにおいては，その全体構造を把握するための解析手法が求められている． ネットワークを密に結合したノード集合であるコミュニティ(ここではクラスタと同意)に分解するアプローチは有効だ．SNS などからコミュニティを抽出することで，トピックについて知ることができる．さらに，得られたコミュニティをノードしてメタネットワークを生成すれば，ネットワークの構造を視覚的に把握できるようになるだろう． この論文
Heartbeatの特徴とユニークな機能 連載：Heartbeatでかんたんクラスタリング（1） オープンソースソフトウェアの「Heartbeat」をご存じでしょうか？ これを使い、Linux上でHAクラスタを構成する方法を紹介します
こんにちは。検索グループ解析チームの nabokov7 です。 今回は、ライブドアLislogというサービスのデータをちょっと拝借して、「クラスタリング」という解析手法を紹介したいと思います。 ちなみにこの Lislog というサービスは，ぱっと見ただの投票サービスのようですが (実際そういう使い方もできるんですが)，ユーザ一人一人がどれかひとつのアイテムに投票するのではなく，各ユーザが自分なりの「俺的○○ベスト10」や「俺的○○の10のリスト」などを公開・共有し，その結果「全体の人気ランキング」が集計される，という点で通常の投票サイトとは少し違っています。 (従って，リスログの「全体のランキング」とはただの投票数ランキングではなく，「より多くのユーザのリストで高いランクになったアイテムほど，全体のランキングでも上位になる」というアルゴリズムになっています。) ここへクラスタリングを導入す
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
