DB Tech Showcase 2014 東京の発表スライド
セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使
Sematextのブログにて連載された"Solr vs ElasticSearch"の翻訳。 現在、Part 6まで存在し、その全てを翻訳した。 Part 1 – 概観 Part 2 – インデックス作成と言語の取扱 Part 3 – 検索 Part 4 – Faceting Part 5 - 管理APIの機能 Part 6 – ユーザと開発者のコミュニティ比較 なお、オリジナルの記事はこちらのPart1から全て辿ることができる。 http://blog.sematext.com/2012/08/23/solr-vs-elasticsearch-part-1-overview/ この連載はまだ続くはずだがPart 7がいつ出るのかはわからない。また出た時に翻訳を続けられるかもわからない。 なお、訳者はSolrもElasticSearchも大した知識を持っていない。誤訳等見つけられたらぜひコ
rails の本番サーバ(さくらVPS)に全文検索エンジンの Sunspot をインストールするまでの設定をまとめました。 前提 sunspot を使っているRailsアプリを/opt/yourapp/currentに置いていて、かつ同じサーバで solr サーバを立てる前提です。別サーバに solr を立てる場合もそれほど手順は変わらないと思うので、適宜脳内変換してください。 ほとんどの部分は Ubuntu 10.04 Tomcat6 and Solr 1.4 Installation Steps: · sunspot/sunspot Wiki と同じです。 関連ライブラリのインストール java と ant を yum でインストールします。 sudo yum install java-1.7.0-openjdk.x86_64 ant.x86_64 solr 用のユーザ solr を作
elasticsearchの紹介です! atnd.org/events/33718
Solr勉強会でElasticsearchを発表(ゴリ押し)してきました 資料: solrとelasticsearchの比較 // Speaker Deck サンプルにつかったRailsのコード:https://github.com/penguinco/ld_gourmet_search 文章の追加から、検索まで書いたのは100行無いと思いますのでさくっと試せます。 勉強会の内容については以下の方々が詳しくまとめてくれています 第9回Solr勉強会に行ってきた #SolrJP 第9回Solr勉強会を主催しました。#SolrJP | @johtani の日記 今回思ったのはkuromojiいいですねっていうことと、 jettyのマルチテナントを活用した開発環境の紹介は非常に勉強になりました。こういうのがないと開発者が多い場合に大変ですよね。 あとは、懇親会でいろいろな方がSolrをいろんな用
この記事は古くなりました。新しい知見は下記を参照。aoking.hatenablog.jp 概要 全文検索エンジン Solr を使用していて、パフォーマンスチューニングに四苦八苦した話。 ここでは、検索時ではなくドキュメントの追加時についてのチューニングについて記してある。 更新自体は参照に比べて頻度が少ないが、参照はレプリケーションして負荷分散しやすい。 更新は整合性を保つために一台のマスターノードに対して行われるので更新はボトルネックになりやすいのだ。 定期的に IO 負荷が高くなる Solr を使っていると、一時的に猛烈に IO 負荷が高まる時がある。fsync になんと1分以上かかるような、猛烈な負荷だ。 これはインデクスのマージ時に起きる IO 負荷で、巨大なインデクス同士のマージだとその合計サイズ分の IO が発生することで IO 処理が専有されたままになっていた。 インデクス
こんにちは、 id:yanbe です。 全文検索エンジンLucene上に構築されたSolrという検索ミドルウェアがあります。拡張性・カスタマイズ性に富み、既存のデータのインポート機能が豊富なのもあって、広く利用されています。 参考: Solr - Wikipedia 国内のウェブサービスでのSolrの採用事例を挙げるとNAVERやCookpad、アメーバなどがありますが、はてなでも以前より一部のサービスでSolrを採用しています。 Solrの公式ドキュメント(英語)はwiki形式で提供されており、網羅的な情報はこちらで手に入ります。また、Solrの基本的な使い方を学べるチュートリアルもありますが、「すでにある典型的なLAMP構成のウェブサービスにSolrによる検索機能を組み込む」までには、ここからさらに多くの情報を調べる必要があり、Solrの導入のハードルとなっていると感じました。 そこで
About Kuromoji Kuromoji is an open source Japanese morphological analyzer written in Java. Kuromoji has been donated to the Apache Software Foundation and provides the Japanese language support in Apache Lucene and Apache Solr 3.6 and 4.0 releases, but it can also be used separately. Downloading Download Apache Lucene or Apache Solr if you want to use Kuromoji with Lucene or Solr. See below for so
9月12日にECナビにて第6回Solr勉強会がありました。事例紹介に「Solr@cookpad」という発表で参加させて頂いた時の資料を公開しておきます。 みなさんの発表が面白くてすごく勉強になりました。勉強会の様子はこちらに詳細に書かれています。 http://johtani.jugem.jp/?eid=26 スライド:Solr@cookpad Solr at cookpad View more presentations from penguinana 分かりにくいスライドかも…お気づきの点ありましたらコメント欄などでお知らせください。 ところで また、スライドでも少し紹介したtwitter検索(yats)ですが、15億docのセットを150msで7000万req/月で返していて、Solrのベンチマークにも役立っておったのですがAPIの規約にひっかかっている(第三者がオリジナルのAPIを
Loading… Flash Player 9 (or above) is needed to view presentations. We have detected that you do not have it on your computer. To install it, go here. 第3回solr勉強会(アメーバにおけるsolrの利用) - Presentation Transcript 第3回 Solr勉強会 株式会社サイバーエージェント 新規開発局 安田 征弘 第3回 Solr勉強会 自己紹介 ・ 安田征弘(やすだ まさひろ) ・ 2008年からアメーバで働く ・ 今まで関わったサービス 2008年 ~ 2010年 - ブログネタ 2010年 ~ 2010年6月 - アメーバサーチ - なう検索 - タレント検索 現在の担当 - アメーバサーチの負荷改善及び機能追加
研究開発グループの takahi-i です。 先日名前だけご紹介したAnuenue というツールをご紹介させていただきます。Anuenue は Apache Solr のラッパーであり、検索クラスタの構築と運用を容易にする目的で制作されました。 本稿では始めに Apache Solr を選択した理由について述べ、その後、このツールを開発した背景とその目的をご紹介させていただきます。後半では実際に Anuenue を用いて検索クラスタを立ち上げます。 なぜ Apache Solr を採用したのか 昨年の秋、弊社の検索エンジンを置き換えるという計画が社内で策定され、ベースとなる検索エンジンの選定のために多くの OSS 検索エンジンを比較検討しました。このとき重視したのは一台の検索パフォーマンスと同時に、保守の容易さと、開発コミュニティの規模です。 検索エンジンの保守性に関して特に重要と考えたの
次に、今後導入を検討しているサービスとして、全文検索エンジンのApache SolrとOpenIDについて簡単に紹介する。Railsとは直接的には関連はないが、プラグインを導入することで、Railsで構築したWebサービスにこういったものが取り入れられるのではないかという方向で考えている。 第5回「“最適な”全文検索システムの選択」で紹介したSennaを利用した検索システムは、Ludiaを採用したことにより検索用にPostgreSQL、通常運用にMySQLという管理の仕方になってしまった。 本来、RDBMSに組み込む形の検索エンジンの利点の1つは、データの一元管理ができるということにある。このメリットを得られないのであれば構成の刷新を検討すべきではないか。 そういった観点で別の全文検索ソリューションを検討した結果、Apache Solr(以下Solr)という選択肢が出てきた。SolrはAp
1. アメブロ記事検索に Apache Solr 1.4 をつかってみた (お蔵入りした資料) 第二回 Solr 勉強会 2010/03/11 @ECNavi 株式会社サイバーエージェント 新規開発局 2. Solr 導入の経緯 ■ 以前のアメーバサーチ ・ Lucene 使用( RMI 機能利用) ・検索対象: 6000 万件ほど (直近 3 ヶ月~ 6 ヶ月) ・スケールしにくいつくり ・ Lucene のバージョンアップ困難 ( RMI は非推奨化予定?) ・「アクセス過多のため・・・・・」と 検索できない ・ QPS 50 ぐらい・・・・・ ( 4 セット合計で・・・)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く