Rakuten MA (morphological analyzer) is a morphological analyzer (word segmentor + PoS Tagger) for Chinese and Japanese written purely in JavaScript. Rakuten MA has the following unique features: Pure JavaScript implementation. Works both on modern browsers and node.js. Implements a language independent character tagging model. Outputs word segmentation and PoS tags for Chinese/Japanese. Supports i
職場の人の繋がりでお声がけいただいて、Kuromojiという形態素解析エンジンを紹介していただきました。 ■ Kuromoji ATILIKAという某検索エンジン会社に勤めていた人の会社で作っている ApacheライセンスなピュアJavaな形態素解析エンジンです。 Javaって言う事でMavenでホゲホゲできるそうです。 http://atilika.org/こちらで紹介されています。 ＃黒文字ってのは植物の名前で、そっからできたつまようじの事を言うんだそうで、 ＃これがモチーフになんだよーと見せていただきましたｗ ■ 形態素解析 / N-Gram 形態素解析とN-Gram〜とかコレ系だとよくある感じですが、その辺のサポートもされてます。 ＃詳しい話を聞かせてもらったのですが、そもそもの知識不足と英語力不足でイマイチ…orz ■ 辞書 IPAのヤツがベースになっていて、拡張する事も出来ます
TinySegmenterはJavascriptだけ書かれた極めてコンパクトな日本語分かち書きソフトウェアです。 わずか25kバイトのソースコードで、日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 Yahoo!の形態素解析のように サーバーサイドで解析するのではなく、全てクライアントサイドで解析を行うため、セキュリティの 観点から見ても安全です。分かち書きの単位はMeCab + ipadicと互換性があります。 デモ 日本語の文章を入力し、解析ボタンをクリックしてください。 ダウンロード TinySegmenterはフリーソフトウェアです. 修正BSDライセンスに従って本ソフトウェアを使用,再配布することができます. Download TinySegmenter version 0.2 使い方 <script type="text/javascript" src
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
集合知プログラミングのp.349を参考にYahoo!が提供する形態素解析のWebサービスをPythonから使ってみた。形態素解析をWebサービスでやるなんて遅くて使い物にならなくね？ChaSenかMeCab使うよ！って使う前は思ってたのだがやってみたら驚くほど快適。かなり高速に結果を返してくれる。しかも、Yahoo!が作った特別な辞書を使っているらしく、IPAの辞書に比べて固有名詞の抽出精度がかなり高い印象を受けた。使う上での壁は、 Yahoo!デベロッパーネットワークに登録してアプリケーションIDを登録しなくちゃいけない 1日で1つのIPアドレスにつき50000万リクエストまで 1回のリクエストは100KBまで くらいか？Yahoo!のIDを持っていれば、アプリケーションIDの登録はWeb上で簡単にでき、審査もない。 Pythonで使う場合は、HTMLを解析するBeautifulSoup
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog テキスト解析API企画担当のS・Kです。 当ブログにおいて一般の開発者の皆様にYahoo! JAPANの高度な日本語処理技術をマッシュアップにお役立ていただけるよう、なじみの薄い日本語処理用語の解説や一般的なご利用方法をお伝えしていきたいと思います。 先日、弊社も協力企業として参加しましたMashup Award4において、Technology賞を受賞され注目を集めました「Newsgraphy」様にも日本語形態素解析APIをご利用いただいております。 そもそも、形態素解析とは、、 言語として意味を成す最小単位の文字列のことを「形態素」と呼び、ある文章をその形態素に分けていく解析のことを「形態素解析」と呼びます。 うーん、なんだか難
マルコフ連鎖で文章生成（JavaScript） マルコフ連鎖による文章生成。マルコフ連鎖と言っていいのかあまり自信はないのだが、とりあえず文章を作ってはいる感じ。 テキストエリアに入力された文章を解析して、その中の単語を使って、自動生成します。文章生成ボタンを何度か押すと文章が変わっていくと思います。 意味不明であったり、そのままの文、同じ文が続けて出たりはしてしまいますが。 メロスは激怒した。必ず、かの邪智暴虐（じゃちぼうぎゃく）の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮して来た。けれども邪悪に対しては、人一倍に敏感であった。きょう未明メロスは村を出発し、野を越え山越え、十里はなれた此（こ）のシラクスの市にやって来た。 ここに文章が作成されます。 posted by knit at 19:45 | Comment(9)
形態素解析エンジンSenを改良したGoSenというライブラリがあります。 Significantly improved text analysis speed http://itadaki.org/wiki/index.php/GoSen と書いてあるので、どの程度速くなったのかなと思ってSenと比べてみたんですが、逆にSenより遅いという不思議な結果になりました。 GoSenの計測方法 SVNリポジトリから最新版をチェックアウト /testdata/dictionaryでantを実行し、辞書ファイルを作成 GoSen付属のbenchmark.SenBenchを実行 Senの計測方法 sen-1.2.2.1.zipをダウンロード /dicでantを実行し、辞書ファイルを作成 上記のbenchmark.SenBenchをSen向けに一部書き換えて実行 実行環境はIntel iMac 2GHz
Visited: 5294 アルゴリズムによる日本語形態素解析(Japanese Morphological Analyzer by Algorithm) このプログラムは、テスト・研究用の短いプログラムで、辞書を使わずにアルゴリズムのみで解析しているので、正確な解析はできません。語頭・語末を漢字・カタカナ・平仮名の区別を頼りに解析しているので、平仮名ばかりの文に対応できません。言語解析の困難さがこのプログラムからもお分かりになるでしょう。 正しく解析するには、人間が持っている知識、すなわち日本語の規則、辞書、実世界における知識、推論などが必要です。その知識とは膨大な量のものですが、まずは部分的にも妥当な規則、辞書を作ってみることが大切でしょう。アルゴリズムだけからなるこのプログラムとは異なり、今研究中の規則や辞書の構成は言語学的にも妥当と思えるかどうか、という観点から研究しています
今日は奥様とタイ料理&タイ式マッサージの日でした。マッサージはちょっと素晴らしいなあ。 表題のように、全文検索エンジンをGAE上で試作してみました。GAEはGoogle様提供のサービスにもかかわらず「なんで全文検索機能がないねん」という声が上がっていたんですよね。主にtwitter界隈から。 「Introduction to Information Retrieval」という本のドラフトPDFと、たつをさんのところのIIR輪講の資料を参考に作りました。つっても、第1章の一部の知識しか使ってないですが。論理和検索もスキップリストも使ってないし(論理和検索はクエリ式のパーサを書くのが面倒だった)。 import logging import re from urllib import urlencode import wsgiref.handlers from google.appengine
Sen is the first opensource morphological analyzer written in pure Java. You can use sen for any NLP purpose such as automatic translate, search engine, Japanese education, AI, dialect converter, or analyze 2ch's threads. Sen is pronounced "chi hi ro". You must call "chi hi ro" even if you hava a important meeting with exective.
各種ブックマークサービスを使ってブックマークするときにセットする「タグ」 後で検索したり抽出するときに必要なのでセットする必要はあるんだけど結構めんどい なので、自動でセットするような Greasemonkey スクリプトを書いてみた。 利用条件は、Firefox + Greasemonkey です。 使ってみる場合は インストール をクリックしてください。 Greasemonkey スクリプトは初挑戦。 セットするタグの要素は大体がタイトルから引っ張ってこれるとまず考えた。 タイトルが有る程度適切にセットされていないと意味無いけどね。ｗ タイトルを分解するために、Yahoo の API で有る「日本語形態素解析Webサービス」を利用することにした。 [ http://developer.yahoo.co.jp/jlp/MAService/V1/parse.html ] 動きはこう １．ブ
借りているサラ金から突然連絡が来て、債権譲渡のお知らせなどと言われる事がたまにあります。そもそも債権譲渡とは何でしょうか。 そのサラ金が事業を辞める為に、別会社に債権をそのまま譲渡すると言うのが債権譲渡です。以前の会社から新しい会社に債権が移っただけで、借りてる方としたら、殆ど変化が無いのが債権譲渡と言えます。連絡が来た時に、返済する場所が変わる旨などが伝えられた場合には、返済を間違えずに行わなければなりません。また債権譲渡により、返済する金額が変更になるなどと言う事はまずありませんので特に問題は無いでしょう。 いきなり借りてる会社からそんな連絡が来ると、なんだか怖いイメージですが、全く怖いというものではありませんので、今までどおりに返済を続けていけば特に問題は無いでしょう。 ただし、債権譲渡は債権譲渡でももう一つ別の形の債権譲渡が存在します。借りてるサラ金会社の返済を延滞した場合、うちで
前回は、Perlモジュールである「Web::Scraper」を使ったスクレイピングについて説明した。Webページ（HTML）は、「構造」と「デザイン」面で比較的分離が進んできたため、CSSセレクタによるスクレイピングが有効であることが分かったはずだ。 今回の最終回では、コンテンツの自動収集と統計手法について考えてみよう。 記事内で扱っていくのは、幾つかのコンテンツをたどって、「利用頻度の高い語句を集め、話題となっているキーワードを見つけよう」というものだ。 話題のキーワードを集める手法 近年ブログのポータル上などでは、話題となっているキーワードを「利用頻度に応じたフォントサイズ」で示し、クリックすると該当の記事一覧が表示されるという仕組みが実装されているものが多い。 オルタナティブ・ブログにも似たようなものとして「話題のキーワード」が見られる。キーワードをクリックすると、Googleによる
「KOIL FACTORY PRO」で新たな視点でつくる「衣食住遊」の体験型フェス「ほにゃらら+らDAY」が10月29日と30日に開催
コンピュータに1980年代以前から親しんでいる人は、「人工無脳」と聞くと、ある種のノスタルジーと共に思い起こすものがあるんじゃないかな。 「何それ？」という人のために少し解説すると、人工無脳というのは一種のお遊びプログラムのことで、チャットで人間と会話をしてくれるロボットのこと。海外ではChatter Botと呼ぶのが一般的みたいだね。 もちろん、会話の精度は高くなくて、「何言ってんだコイツ」とか、「会話が全然なりたってないじゃん」なんて場合がほとんどなんだけど、たまに「おっ！」と思わせるようなことを言ったりして、チャット参加者を楽しませてくれる。 そもそも人工無脳（人工「無能」と表記される場合も多いが筆者は「無脳」という表記で統一している）というのは、開発者たちが「こんなもの人工知能と呼べるレベルじゃなくて、人工無脳だよね（笑）」という謙遜から使われだした言葉なんだ。 「あー、昔よく遊ん
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
