N-gram を使用した、組み込み型の日本語全文検索です。 ダウンロード : ソースコードのほか、Windows 用バイナリもダウンロードできます。 バグレポート メーリングリスト への参加 概要 インストール テキスト検索機能 %% 演算子 @@ 演算子 インデックス (senna) インデックス・オプション (WITH) インデックスのメンテナンス senna.drop_index() senna.reindex_index() 不要ファイルの調査 TODO 概要 日本語テキストの全文検索を行います。 形態素解析ベースである textsearch-ja とは異なり、textsearch_senna では N-gram ベースの全文検索を行います。 検索には、全文検索エンジン Senna を使用しています。 利点として、文字すべてをインデックス化するため LIKE 中間一致検索に近い結果
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Work from Home Accident Lawyers Anti Wrinkle Creams 10 Best Mutual Funds Free Credit Report Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
現在では、商品の詳細な解説や購買者からの感想、顧客からのクレームや問い合わせ内容とその回答など、様々な情報が企業のデータベースに蓄積されています。ショッピングサイトの訪問者やコールセンターのオペレータは、これらの膨大なテキストデータから迅速に求めるデータを抽出したいと望んでいます。そして、この際に必要となるのが本連載でとりあげる全文検索です。 本連載では、全文検索を実現するソフトウェアのなかでもオープンソースである「Ludia」に焦点をあてて、全文検索の技術そのものからその導入ポイントまでを解説していきます。なおLudiaは、オープンソースRDBMSとして著名なPostgreSQLに対して高度な日本語全文検索を実現するため、NTTデータが開発し、オープンソースとして公開しています。 ほとんどのインターネット利用者にとって、「検索」は日々利用する当たり前のサービスとなっています。ここで用いら
もうすぐ SQLite に全文検索がつく. Wiki を見ていて気付いた. (Full-text Search for SQLite) なかなか頑張ってるみたい. 他のデータベースは既に全文検索をサポートしている. 商用のものはもちろん, PostgreSQL や MySQL も 対応済. 一方で, Java 製インプロセス RDB の HSQL や Derbyy は対応していない. (Wiki を見ると提案されてはいるようす.) 大物 DB には追いつかないにせよ, 他の軽量 DB よりは一足先を行くかんじ. 数ある DB の要件から全文検索をえらぶあたりがピンポイントでいい. 小さな規模のアプリケーションでも検索が使えたら嬉しいよね. コードは CVS に入っている. このへん. とりあえずチェックアウトして試そうと思いレポジトリを覗いてみると, コードはあるけど Makefile が
NTTデータは10月11日，同社が開発した全文検索エンジン｢Ludia｣をオープンソース・ソフトウエアとして無償公開した。オープンソースのDBMS PostgreSQLに格納されたテキスト・データの全文検索を行う。同社では「商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 NTTデータでは「データベース内のデータの全文検索ではこれまで，オープンソース・ソフトウエアでは日本語に対応した高速・高精度なものが存在せず，データベースからデータを取り出し別のシステムを構築する必要があった。Ludiaは商用のデータベース管理ソフトに匹敵する速度と精度を備える」としている。 Ludiaは，N-gramと形態素解析の2種類の全文検索インデックス方式をサポートする。ブーリアン検索，近傍位置検索，類似文書検索といった検索が可能で，検索結果の合致度を示す｢スコア｣も提供する。 Ludiaは
Ludia-0.8.0 では EXPLAIN が返すコストの見積もりが正しくない(常に 0.00..0.01 ?) ため、常に fulltext index が優先して使われるようだ。 普通の index (entry_pkey) が張ってある id カラムと、fulltext index (entry_ftidx) がある body カラムを持つテーブルに対して、 # EXPLAIN ANALYZE SELECT * FROM entry WHERE id=24354; QUERY PLAN ------------------------------------------------------------------------- Index Scan using entry_pkey on entry (cost=0.00..3.20 rows=1 width=730) (act
Posted by masuidrive Fri, 13 Oct 2006 15:51:00 GMT ITPro で紹介されていた、PostgreSQLに全文検索を追加する拡張、Ludia を試してみます。 ITProの記事には書いてないけど、結局、Senna をバインドするものらしい。先日、MySQL+Sennaを試してみたばっかりなので、ほとんど同じように使える模様。 インストール方法は、read moreに書いておきます。 Ludia 簡易テスト を参考にしつつ、検索をテスト。 Senna用の検索書式 もサポートしているので、このように指定することができる。 Railsからも、:conditionsで指定すれば、普通に動いた。 でも、テストがうまく通らない・・・。MySQL+Sennaの時もそうだったけど、test:*を実行するときは、db/schema.rbを読み込むんだけど、これ
NTT Data が開発した(というか、Senna の PostgreSQL バインディングを作った) Ludia を使ってみた。 # 以前、pg_senna を試したこともあり、期待大。 インストールは ドキュメント通りに問題なく完了。 環境は Athlon64 3800+ (Dual Core) 1GB RAM Fedora Core 5 PostgreSQL-8.1.4 こんなので。(MacOS X, PostgreSQL-8.1.4でもちゃんと動いたよ) 手元の、Plagger で取ってきたフィードを保存しているテーブルに INDEX を作って検索してみた。 # SELECT count(*) FROM entry; count ------- 64445 # SELECT sum(octet_length(body)) FROM entry; sum ---------- 690
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
NTTデータは2006年10月11日、同社が開発した全文検索エンジン「Ludia」（ルディア）をオープンソースソフトウェアとして公開した。オープンソースDBMS「PostgreSQL」に全文検索機能を追加する。ライセンスはGNU Lesser General Public License（LGPL）を採用した。 Ludiaは、PostgreSQLデータベース内に、テーブル内テキストデータに対する全文検索インデックスを作成することで、商用のデータベース管理ソフトに匹敵する高速・高精度な全文検索機能を可能にする。また、SQLと親和性が高く、扱いやすいインタフェースも特徴。 インデックス作成にはオープンソース全文検索エンジン「Senna」を利用。「N-gram」と「形態素解析」のインデックス主要2方式に対応する。また、検索方法も「ブーリアン検索」「近傍位置検索」「類似文書検索」の複数の検索に対応
Ludiaは高速かつ高精度な全文検索インデックス機能をオープンソースのデータベース管理システムであるPostgreSQLに提供します。Ludiaは株式会社NTTデータにより開発され、2006年10月11日にLGPLライセンスのオープンソースソフトウェアとして公開されました。 ダウンロード 最新リリース ludia 1.5.2 (日付: 2009-03-27) ludia-withdeps 1.5.1 (日付: 2008-08-07) ludia 1.5.1 (日付: 2008-08-07) ludia-withdeps 1.5.0 (日付: 2008-03-25) ludia 1.5.0 (日付: 2008-03-25)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
