B! 6 0 0 0 前に作った shell-logger というシェルスクリプト用ロガーツールをアップデートして Traceback機能を付けたりしてみました。 shell-logger コマンドラインで使う シェルスクリプトの中で使う Traceback 各種設定 shell-logger shell-logger: シェルスクリプトで良い感じにログアウトプットを管理する etc/shell-logger.sh</del>/etc/shell-logger**というファイルを読み込むと debug, info, notice, warn, errと言った関数が使える様になります。 追記: 2022/08/07 現在はshell-loggerとshを取った名前になっています。 追記ここまで インストールはcurlを使って $ curl -fsSL https://raw.github.c
■アクセスログからワンライナーで接続元毎、閲覧先毎の接続回数の集計をしてみる。 ■まずはプロキシのログから。 環境は以下。 $ lsb_release -d Description: Debian GNU/Linux 7.9 (wheezy) ■条件1 対象は非圧縮の「access.log*」とする。 ※「zcat」と混ぜるのも面倒なので。 もっとあるなら、例1のように並べても良いし、 同フォルダに他に無いなら、例2でも良い。 例1「/var/log/squid/access.lo{g,g.1,g.2,g.3}」 例2「/var/log/squid/access.log*」 $ sudo du -h /var/log/squid/access.lo{g,g.1} 920K /var/log/squid/access.log 4.8M /var/log/squid/access.log.1
「EFK (Elasticsearch + Fluentd + Kibana) なんて甘えですよ、漢は黙って awk | sort | uniq -c ですよ」と誰かが言ってたような言ってなかったような気がするのでログさらう時に自分がよく使う awk 芸について書きます。 想定データサンプル こんなフォーマットで出る TSV 形式の Web アプリケーションログがあったとします。[TAB] はタブ文字です。 時間[TAB]ステータス[TAB]HTTPメソッド[TAB]URI[TAB]リクエストタイム 例えばこんな感じです。このログを awk 芸で処理していきます。 access.log 2014-12-05 12:00:00[TAB]200[TAB]GET[TAB]/api/v1/ping[TAB]0.017832 2014-12-05 12:00:01[TAB]200[TAB]POST[
あるログファイルに特定のパターンや特定の文言が出たら それをトラップして対応するアクションを行わせたい… というような仕組みを、 一般にそう言うかどうか知らないが、ログトラップと呼ぶことにする。 出来合いのツールとしては swatch が定番である。 余裕があれば｜面倒クサければ、自作してもよい。 どのようなツールを使うとしても、決めておくことは以下の通り。 監視対象ファイル 引っかけたい文字列 引っかけたあとの挙動 どのユーザで処理するか swatch の設定 導入は依存モジュールの判断が面倒なので、ports から入れると楽だ。 # cd /usr/ports/security/swatch # make install clean あとは上述の４項目を仕込んでいく。 「監視対象ファイル」と「どのユーザで処理するか」は /etc/rc.conf にて設定する。 ユーザは指定しなければ
By Takehiko Kodama on April 1, 2008 5:52 PM | Permalink | Comments (0) | TrackBacks (0) Linuxを使っていれば、ログファイルのようにどんどん増え続けるファイルの内容を視認するために、「tail」コマンド「-f」オプションを使用して監視する場面が多いと思います。 「tail -f」コマンドは監視対象のファイルのサイズが小さくなっても自動末尾を検知し、そこから読み込みを再開します。 さらに、「--retry」オプションを使用すれば、監視対象のファイルが削除・リネームされても同じ名前のファイルが作成されると再び監視を開始するので、ログのローテーションにも対応できるというわけです。 この「tail」を利用すれば、簡単なスクリプトを使って、検知したメッセージをメールで通知ということも可能になります。 サンプルの
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
