ここ数年のデータ解析の重要性の高まりから、ログに関するソリューションが方々で活発に探求されている昨今でございます。ウェブサーバーの単純なアクセスログをそのまま保存するではなく追加情報を添加してみたり、あるいはアプリケーションから直接ログを吐いてそれらをデータウェアに投げ込んで･･･というのも当然のように行うようになりましたね。 しかしあまり自由度のない access_log の combined フォーマット。さてどうしたもんか･･･ ここで id:stanaka の登場です。 Labeled Tab Separated Valueというのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからflue
Log::Minimal v0.02をリリースしました。xaicronさんのpatchにより出力するログのレベルを変更することができるようになりました。 WARN以上のログだけを出したい場合、$Log::Minimal::LOG_LEVEL を変更します。 use Log::Minimal; local $Log::Minimal::LOG_LEVEL = "WARN"; infof("info"); #出力されない warnf("warn"); #出力される デフォルトのレベルはDEBUGです。なお、デバックメッセージを出すには環境変数も設定されている必要があります。 ところで、Log::Minimalでは4つのログレベル、DEBUG、INFO、WARN、CRITICALをサポートしていますが、他のLogモジュールではより詳細なレベルを用意しているものがあります。そのため、アプリケーショ
追記 CPANにアップしました http://search.cpan.org/dist/Log-Minimal/ /追記 アプリケーションサーバでエラーが起きていたり、レスポンスが遅かったりする場合に、Operation Engineer(インフラエンジニア)がまず見るのは、エラーログです。エラーログにでているメッセージを手がかりに原因を探ります。 サーバでエラーが起きている時には、データベースに接続ができなかったり、外部のAPIからレスポンスが得られない、またプログラムのBugが原因となっている場合もあるでしょう。またエラーにならなくても、複数台あるデータベースのスレーブサーバうち一台が落ちて接続をretryしていたり、APIのレスポンスが遅い際にはサーバ全体のパフォーマンスが低下します。 エラーログに障害の原因を探る情報があれば、Operation Engineerは素早く対応を開始で
do$です。 えーと。まずこの美しくないスクリプトを晒します。（特に読まなくてOK!） #!/usr/local/bin/perl -w # <***/> use strict; my $access_log = '/usr/local/apache/logs/access_log'; my %mail_header = ('Return-Path' => 'return@example.com', 'From' => 'from@example.com', 'To' => 'to@example.com', 'Subject' => 'FooBar-test', 'X-FooBarLog' => 'TEST'); my %cgis; my $line_s; my $line_e; my $all_line; my %status_code; my $log_str_500; { ## h
今まで $schema->storage->debug(1) として標準出力に出力される SQL 文を監視していたのですが，なぜか早く終わるリクエストでとらえきれなくなってしまいました。 やむなくロガーを導入することにしました。Log::Log4perl は仕様が重そうなので（log4j のときも設定とかめんどくさかったなぁ）パス。Log::Agent とかなかなか魅力的と思ったのですが，Log::Dispatch の設計思想にやや惹かれてこちらを使うことに…あ，Log::Log4perl ってこれをバックエンドにしてたんですか。作者の Dave Rolsky さんは DateTime のメンテナでもあるんですね。ふむふむ。 インストール自体はさっくり終了（というかテストスクリプトが簡潔すぎ）しました。DBIx::Class::Storage::DBI には debugcb というデバッグ
Event Log Explorer is an effective software solution for viewing, analyzing and monitoring events recorded in Microsoft Windows event logs. Event Log Explorer greatly simplifies and speeds up the analysis of event logs (security, application, system, setup, directory service, DNS and others). Event Log Explorer extends the standard Windows Event Viewer functionality and brings many new features. U
The global standard for feature-rich, reliable, lightweight log collectors. Rock solid log collection is both a compliance and security imperative. When companies across the world want the best, they choose Snare. Log collection is the bedrock of a strong SIEM solution and the Snare Agents are the global standard for feature-rich, reliable, lightweight log collectors. We have been the go-to log co
http://www.hping.org/visitors/ 高速なapache log analyzer。公式には No installation required, can process up to 150,000 lines of log entries per second in fast computers (20MB/s with my log files average length). と、一秒で150,000行さばけるとうたっている。うちの環境で実際に10万行ほどのログを食わせたところ1秒ちょいと非常に高速にさばけた。出力ではhtml(サンプル)だけならずテキスト(サンプル)も選べる。 ログアナライザとして必要な機能は一通りそろってるし、Googleからの検索キーワードも表示できてGood。日本語検索ワードだとeuc-jpやsjisやutf-8だったりするのでnkfをか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
