Search and analytics, data ingestion, and visualization – all at your fingertips.
Search and analytics, data ingestion, and visualization – all at your fingertips.
開発する際などにちゃんと設定したことが反映されているかなどを確認するためによく使うのでメモとして残しておきます。 Elasticsearchの情報の確認 プラグイン/モジュール一覧 インデックス一覧 インデックスのマッピング確認 １件取得 アナライザーの動作確認 Elasticsearchの情報の確認 curl localhost:9200/_nodes/stats?pretty メモリ使用量やインデックスの情報など様々な情報が得られます。 詳細はNodes Statsにあります。情報量が多いので例えば物理メモリの合計バイト数(ios.mem.used_in_bytes)を調べるにはjqコマンドを使ってこのようにすると簡単に確認できます。 curl localhost:9200/_nodes/stats |jq .nodes[].os.mem.used_in_bytes プラグイン/モジュ
このようにすることで、 そもそも mecab-ipadic-NEologd に意味はあるの? mecab-ipadic-NEologd で分かち書きして悪影響は無いの? mecab-ipadic-NEologd を週2回も更新することに意味はあるの? などの典型的な疑問について考察する材料を得たいと考えました。 学習器と特徴ベクトルの作り方 学習器は LIBLINEAR を使用しました。LIBLINEAR で学習するときのパラメーターですが、今回は辞書やデータごとに最適なパラメーターを探すことが今回の目的ではありません。そこで、別の期間のデータと MeCab 用の辞書を用意して、事前に実験と相対的に同様なデータと辞書の関係を作って探索することにしました。その結果、「s=5, c=0.8, B=-1」という設定が比較対象の UniDic にとって総合的に有利だったのでそれを採用しました。 各
Solr 6でneologdが組み込まれたkuromojiを使う方法 こんにちは、VASILYバックエンドエンジニアの塩崎です。 VASILYでは商品情報の全文検索を行うためのバックエンドに、Apache Solr(以下、Solr)を利用しています。 先日、Solrのメジャーバージョンを最新の6にアップグレードしました。 それに伴ってSolrの形態素解析エンジンであるkuromojiに新語辞書であるmecab-ipadic-neologd(以下、neologd)を組み込みました。 この記事では、組み込むことのメリット及び、具体的な組み込み方を紹介します。 kuromojiにneologdを組み込むことのメリット では、まずkuromojiにneologdを組み込むことのメリットを、転置インデックスを利用した全文検索の仕組みに基づいて説明します。 転置インデックスを利用した全文検索の仕組み
ELSには日本語解析プラグインが用意されています。 Japanese (kuromoji) Analysis Plugin | Elasticsearch Plugins and Integrations [6.1] | Elastic Java等で品詞分解する事ももちろんできますが、ELSのテンプレートを利用する事で、Kibana上で品詞分解表示などが出来ます。 この記事では、まずELSのテンプレートで登録するところまでをやります。 プラグインインストール Elasticsearchの日本語の形態素解析をする際に利用されるkuromojiは非常に便利ですが、その辞書であるIPADICは更新が止まっているためやや古い状態です。 その辞書を更新してくださった方がいらっしゃり、neologdとして公開されているためそれを導入して新語でもきちんと解析できるようにします。 neologdでkuro
こんにちは。@katsuhisa__ です。 本記事は、「Elastic stack (Elasticsearch) Advent Calendar 2017 」の12/18(月)分です。 ###前置き 第21回Elasticsearch 勉強会で、ログ解析基盤としてElastic Stack を導入したお話を発表したのですが、その際に、「次は全文検索エンジンとしてElasticsearch を使います！」という宣言をしました。 残念ながら実務で使うには至っていませんが、少し前にこちらの記事を参考に、Rails でElasticsearch を動かす一通りの流れを実装しました。 というわけで、Rails でElasticsearch を動かすためにやることをあらためて整理しました。実装したときのコードはここに置いていますので、必要であればどうぞ。 ###対象読者 RDBMS 以外を使用した
RailsでElasticsearchを使ってレストラン検索アプリを作成、店名、住所、カテゴリなどからレストランを全文検索できるようにします。また、フィルタ(filter)も使って検索条件を指定することで、閉店している店舗も含めて検索できるようにします。 今後、Elasticsearchのページネーション・ページあたりの表示件数、ソート、ファセット・post_filter、ハイライト、サジェスト機能などをより実践的な機能を実装していきます。 目次 ElasticsearchのMacへのインストール Railsプロジェクト作成とテストデータ作成 RailsとElasticsearchで全文検索を実装 検索条件を指定する 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2
採用活動でちょっとでもハッタリ効かせようと最近CTOを名乗り始めた@mikedaです。 JOBLISTではElasticsearchを使った全文検索が出来ます。 kuromojiを使った辞書ベースで設定されているのですが、以下のような問題があったため、辞書・同義語を調整して改善してみました。 銀だこで検索して築地銀だこが出てこない 築地銀だこで検索して 銀だこが出てこない 地銀で検索すると築地銀だこが出てくるw job-list.net 今回はMac上のRails + elasticsearch-railsを使った動作検証の手順をメモ代わりに書いておきます。 テスト環境構築 手元で動かさない人は読み飛ばして下さい！ Elasticsearchのインストールと起動 wget https://artifacts.elastic.co/downloads/elasticsearch/elasti
Rails Developers Meetup 2018 (#railsdm) で話した資料です。Railsの話はほとんどなくて、全文検索の仕組みとスコアリングについてのまとめが主です。 Q&Aシステムでの質問もここで回答します。 Q. データの同期はどうされていますか？ 同期はActiveRecordのcallbackでActiveJobに更新jobを投げる形で非同期で行っています。また、データ構造などの更新がある場合にindex再構築するときのためのblue-green deployment用のバッチがあります。 Q. 何かgemを使われていますか？使われているなら、どんな選定理由ですか？ いまはelasticsearch-railsを使っていますが、このエントリの後半にあるような理由で捨てようと思っています。移行先はまだ決めていません。 Q. 辞書を作ったりしていますか？ Amazo
環境: Elasticsearch 1.7.3, elasticsearch-rails 0.1.8 ドキュメントごとにフィールドがどうanalyzeされて格納するかを管理画面に表示したいのだけど、そういう便利APIはないみたい。 そこでmappingの設定を読んで一つ一つ _analyze するユーティリティを定義することにした。 ついでに _source も表示することにした。 module Searchable included do include Elasticsearch::Model # ... def es_perform_request(method, path, params, body = nil) es = self.class.__elasticsearch__.client es.perform_request(method, "#{self.class.ind
ElasticSearch でインデックス時と全文検索時で異なる analyzer を設定する 前回は ElasticSearch が全文検索クエリを処理する際の分かち書きのしくみについてふれました。ElasticSearch ではさまざまな種類の tokenizer を中心に analyzer を設計することができ、この analyzer が実際に文字列の単語分割を行ってくれます。 ElasticSearch ではインデックスに格納するドキュメントの内容（フィールドの値）と、全文検索クエリの検索キーワードに対して分かち書きが行われますが、この 2 つに対して異なる analyzer を適用することができます。今回は、インデックスにドキュメントを格納する際の転値インデックス作成時と、検索キーワードを渡した全文検索クエリでの検索時とで、異なる analyzer を利用してみたいと思います。
すっかり春めいてきましたねぇ。もう少しでの季節です。 AWSでElasticsearch（5.1）が使える！ 2017年1月30日から、AWSのElasticsearchで5.1.1が使えるようになりました（AWSのお知らせ）とっても嬉しいこのアップデート、APIがすぐに試せるKibanaの開発consoleもついてきて、とても使いやすくなりました。 さてさて、しかし、日本語を検索するシステムで使う場合は、Elasticsearchに日本語の設定をしないと使えないですね。日本語の文字の細かい処理…というと、Windows XPからWindows 7に切り替わるときに、表示される字体が変わってしまったいわゆるJIS2004問題を思い出しますが…もう一昔前の話なんでしょうか… 『辻』（つじ）という文字が、一点シンニョウから二点シンニョウになった、アレですね。 日本語を使うときの設定は？ AWS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
how to implement "similar product images" in Amazon Rekognition
