新登場 – Open Distro for Elasticsearch | Amazon Web Services
Amazon Web Services ブログ 新登場 – Open Distro for Elasticsearch Elasticsearch は、分散型ドキュメント指向の検索および分析エンジンです。これは構造化クエリと非構造化クエリをサポートし、事前にスキーマを定義しておく必要がありません。Elasticsearch は検索エンジンとして使用でき、ウェブスケールのログ分析、リアルタイムのアプリケーションモニタリング、およびクリックストリーム分析のために使用されることがよくあります。 元々は真のオープンソースプロジェクトとして開始されましたが、Elasticserach への最近の追加機能はプロプライエタリとなっています。私の同僚である Adrian が、彼の Keeping Open Source Open という記事で、私たちが Open Distro for Elasticsea
モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く ということで、Elasticsearch + fluentd + Kibana + docker-compose を利用することで、ほぼコマンド一発で可視化する環境は起動する環境を作ってみた。 github.com 参考 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/USER_LogAccess.Concepts.MySQL.html https://github.com/kenjiskywalker/fluent-plugin
Elasticsearchはデフォルトで文字列を要素解析して保存する。これによって部分一致検索ができるようになるのだが、完全一致検索が難しくなる。 便利なTermsがうまくいかない KibanaにはTermsという値の上位10件とかを表示してくれるパネルがある。次のようなデータを入れているとする。 { "@timestamp": "2013-12-17T10:12:40+09:00", "remote_addr": "203.0.113.10", "country_code": "JP", "request_uri": "/index.php", "user_agent": "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)" } すると、いまアクセスされている国の比率とかを見たければ、count
こんにちは、@johtaniです。 早いもので、師走です。今年もあと少しとなりました（今月が一番忙しかったりしますが。。。）。 ということで、Advent Calendarの季節が始まりました。 この記事はElasticsearch Advent Calendar 2015の1日目のエントリです。 今日は、最近公開されたTimelionの紹介をしたいと思います。 Timelion? 11/12に公開されたばかりのアプリになります。（公式のブログはこちら。ブログでは動画による説明もあり） Kibanaにプラグインとしてインストールすることで使用することができるようになるアプリです。 Timelionと書いて「Timeline」と読むようです。 Kibanaとは異なるグラフ描画のプラグインになっています。 Kibana 4.2からプラットフォーム化 Kibana 4.2から、Kibanaにプラ
What's this? Octoparts is an API request aggregation service. It works as a middleware between your frontend and backend services, taking care of request parallelization, response caching, fault tolerance and performance visualization. Octoparts is implemented in Scala, making heavy use of the Hystrix library. Lightning talk slides from ScalaMatsuri 2014 GitHub repository The source is available a
はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし
Kibana4のBETAがリリースされたことに、Kibana3のissueがcloseされた通知で気がついた。Kibana3のbugfixはやってくれなさそうだけど、とりあえず、Kibana4を試すことにした。 必要なもの JVM Kibana 4.0.0-BETA1 Elasticsearch 1.4.0.beta1 初期設定 Kibana4をとりあえず使ってみるために必要な項目は次の通りだ。 Elasticsearch 1.4.0.beta1をセットアップする Kibana 4.0.0-BETA1をセットアップする インデックスの初期設定を行う Elasticsearch 1.4.0.beta1を準備する Kibana4ではElasticsearch 1.4以降が必要になっている。ベータ版がリリースされているので、適当にダウンロードして起動しよう。 Elasticsearch.org
7 月から東京リージョンでも使えるようになった CloudTrail（一部のサービスはまだ未対応）。 API 呼び出しのすべてが記録されるのでセキュリティ監査の証跡ログとして利用されることが多いと思います。 オンプレミスで同じことをやろうとするとコストも労力も馬鹿になりませんが、CloudTrail ならポチッと有効にするだけです。素晴らしいですね！ セキュリティ監査の証跡ログだけではもったいないので、他の活用方法を考えてみました。 CloudTrail のログをどう活用するか CloudTrail のログには AWS CLI / SDK からのリクエストはもちろんのこと、Management Console の操作も記録されています。 Management Console も裏側で API を叩いているからです。 API を使って構築や運用の自動化を進めると Management Con
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
