2014/09/09に行われた『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』 出版記念！執筆者が語る大講演会！ での発表資料です。 http://eventdots.jp/event/137658Read less
2014年9月9日開催の『サーバ/インフラエンジニア養成読本 ログ収集〜可視化編』 出版記念！執筆者が語る大講演会！にて発表してきました。 今回は「Fluentdのお勧めシステム構成パターン」というタイトルで、ユースケース毎にどのようなシステム構成をすると運用しやすいかのノウハウをお話しさせていただきました。 また、パネルディスカッションではラジオ番組のようなスタイルで、モデレータに @naoya_ito（伊藤直也氏）をお招きして行い、Kibana以前の可視化はどうしていたの？など、ざっくばらんなトークが出来てとても楽しい経験でした。 発表資料 今回は書籍に書かれた内容をざっとおさらいしつつ、システム構成パターンについて解説しました。 発表資料はSlideshareにアップしております。 Fluentdのお勧めシステム構成パターン 書籍 本書はWEB+DB Pressを取り扱う書店のほか、
さて、Perlといえばテキスト処理、テキスト処理といえばPerlですね。そしてこのビッグでデータな現代においてテキスト処理といえばログの処理に決まっています。 ログの処理といってもいろいろですが、もちろん強く逞しく生きる現代っ子の我々は以下のようなログを扱います。 Apacheのログ Apacheのログなんだけどいくつかの書式が混ざってたりする combined に当然いろいろデータが足してある LTSVってなんですか？ そのような素敵な問題を解決するためのモジュールがCPANにあります。Apache::Log::Parserです。 あっ、そのページはダメ、こっち、こっちな。 Apache::Log::Parser Apache::Log::Parserは内部に2種類の解析器を備えており、パーサを初期化するときにどちらかを選びます。それぞれ以下のように動作します。 fast mode Ap
http://mattspitz.me/post/69143620992/phonehome-remote-logging-for-android シンプルなビデオメッセージのAndroidアプリHootを提供しているMatt Spitzがリモートでログデータを取得するPhoneHomeをオープンソースで提供しています。 Hootは、5つのAndroid OSバージョンにわたり、1,600種のデバイスで利用されている。カメラ、ライトセンサー、オリエンテーションセンサーと、ハードウェアをかなり使うアプリなので、クラッシュや、ビデオ再生時に向きが変わったり、はたまたビデオが6本に複製されたりと、不思議な事象が続いている。 フィードバックをくれた友人から端末を借りてログを取ってるが、せいぜい20種ほどの端末しかカバーできなくて、スケールしない。リモートでログを取得するサービスも調べてみたが、
コンプライアンスとガバナンスのためのログ保存 AWS CloudTrailは、コンプライアンスとガバナンスのためのロギングサービスです。AWSの利用に関してAWS管理コンソールやAPIからアクセスログを取得することができます。これはエンタープライズ向けに非常に重要なサービスで、アクセスログをエビデンスとしてS3やGlacierに保存することができます。 サインアップ 現在、北米など一部の地域のみの提供ですが、そう遠くない未来に東京リージョンにも登場するでしょう。以下のURLからサービス開始をします。 AWS CloudTrailのワークフロー ここでは、CloudTrailのワークフローについてご紹介します。 AWS管理コンソール、AWS CLI、APIなどを使ってアクセスします。ユーザー操作ログが指定されたS3バケットに保存されます。 オプションとして、Amazon SNSによる通知を行
8. 8 Amebaのログ解析基盤：Patriot • Amebaのサービス共通のログ解析基盤 • Ameba Technology Laboratoryで開発・運用 • サービスのユーザ行動の分析 • レコメンド等の大規模データ活用による機能の提供 • Hadoopクラスタ上に構築 • • • • HDFSにログデータを集約 Hive/MapReduceを用いた集計 HBaseを用いて処理結果を活用 Flumeを用いたデータ収集 10. 株式会社サイバーエージェント これまでの経緯 • 2010年 ７月： 初期リリース (CDH3b系) • 2011年 ３月： CDH3u0にアップグレード ９月： 独自開発のワークフロースケジューラ、サマリDBとしてHBaseを導入 • ２０１２年 ５月： スマートフォンプラットフォーム向けPatriotの構築 (CDH3u3) １０月： ログ収集にFl
ある程度構造化された半構造化ログのパターンとしては以下があると個人的には思ってる。 Apacheのcombined ログフォーマットや独自フォーマットなどである程度決まったフォーマットで保存されておりHuman Readableだけどログのparseに正規表現が必要なもの。 アプリで扱っているモデルをそのままMessagePack, Protocol Buffersなどの形式でシリアライズしたもの。Machine ReadableではあるけどHuman Readableではない。 モデルを分解してkey-value形式でJSONやLTSVなどの形式で保存されており(上記1ほどでは無いにしろ)Human Readableであり(上記2ほどでは無いにしろ)Machine Readableでありログのparseに正規表現が不要なもの 個人的な意見として正規表現を使うのは*.txtのような比較的単
乗るしか無い、このビッグウェーブに。 （このエントリとこのエントリの三番煎じです。） - 追記 Cassandraはデータ領域のDisk使用量が50%でクリティカルと記載しましたが、いきなりズドンと落ちるとかでは無く、compactionを実行した時にテンポラリーファイル作成します。これは対象のSSTableのサイズに依存します。で、このテンポラリーファイルが作成できなくなる可能性がある閾値が50%です。 http://wiki.apache.org/cassandra/CassandraHardware_JP から引用 MemtableSSTableで述べているように、コンパクションは最悪の場合、一時的にひとつのボリューム(つまりデータディレクトリ)に対して最大そのデータと同じだけの空き領域を要求します。 - まずCassandraでDisk空き領域が減少する可能性があるのはほぼ2つ。ア
OSSのログ収集管理ツールFluentdを用いてログを統合管理している場合の懸念点として、ログの収集漏れが考えられます。 Fluentdでは、バッファ機能を活用することでログを収集漏れすることなく確実に収集することができます。 このバッファ機能のメカニズムを理解すべく動作検証した結果を紹介します。対象とするFluentdのバージョンは0.10.30です。 Fluentdとは Ruby実装のOSSのログ収集管理ツールです。 Fluentdは、Input、Buffer、Outputの3つのコンポーネントで実現されています。 様々な場所からログを収集、JSON形式に変換し(Input)、蓄積(Buffer)、様々な出力先にデータ出力(Output)します。 例として、あるサーバ(server01)のApacheのアクセスログを別のサーバ(server02)内にファイルとして出力する場合
今まではJavaでログ出力といえば、log4jだったが、最近ではlogbackも使いやすくなっている。 [追記] logbackはintra-martで採用されたりしているので既にかなりメジャーであると言える。 http://www.intra-mart.jp/apilist/v70/doclet/im_commons/jp/co/intra_mart/common/platform/log/rolling/ExtendedTimeBasedRollingPolicy.html [追記-終] logbackでログをファイル出力する場合は下記のAppenderクラスを使う。 FileAppender - ファイルへ出力する。 RollingFileAppender - FileAppenderを継承し、ログローテーションを提供する。 詳細はリンクを参照。 logbackではログローテーション
今回は、Linuxサーバのログについての話です。 環境はCentOS 6.4です。 ログが捨てられている？ ログファイルの /var/log/messages でこのようなメッセージを見つけました。 Jun 10 14:31:01 www rsyslogd-2177: imuxsock begins to drop messages from pid 573 due to rate-limiting なんだろうと思って、調べみました。 これは、rsyslogのrate-limitingという機能で、rsyslogが扱っているログファイルのメッセージが捨てられてしまっているという事がわかりました。 デフォルトでは200行まで出力すると、その後が捨てられるみたいですね。 大事なログが捨てられてしまっているとしたら困るな。。。 ということで、ログの切り捨てをしないように設定してみました。 rsy
2020-07-22更新: 以下の投稿で情報をアップデートしています。 https://blog.kengo-toda.jp/entry/2020/07/21/223136 いつも購読させていただいている id:teppeis さんのブックマークに以下のエントリが流れてきて、なるほどこいつはたしかに厄介だと思いました。 javaのロガーが多すぎて訳が解らないので整理してみました - 文系プログラマによるTIPSブログ ただSLF4Jが最も先進的かつ著名なインタフェースである以上、配布側としてはSLF4Jを使いつつ問題を解決したいところです。他のインタフェースを使ったりオレオレ実装を使ったりしてしまうと、それこそユーザの自由度を奪ってしまう形になります。 実際、SLF4Jを配布パッケージに含めないという簡単な解決法がありますので、簡単に紹介します。悲劇を繰り返さないためにライブラリ開発者がす
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
