EMR上でのspark-shellのログレベルの変更方法とその仕組について | DevelopersIO
小ネタです。EMR上でspark-shellを利用する際のログレベルの変更方法について紹介します。また、それだけだと余りにも内容が少ないので、log4j.properties がどのようにして読み込まれるかについても解説します。 前提 以下の環境を前提としています。 emr-4.7.1 でアプリケーションは Hadoop, Spark Sparkのバージョンは 1.6.1 ハードウェア構成は m1.medium を 1 台（検証用なのでマスターノードのみ） EC2キーペアを設定（SSHで接続して操作するため） 東京リージョン AWS CLIだと以下のようなコマンドになります。KeyName, SubnetId, log-uriをご自身の環境に合わせればそのまま利用できるはずです。 aws emr create-cluster --applications Name=Hadoop Name=
アプリケーションは、リリースした段階で終わりではありません。リリース後も以下のようなアプリケーションログを出力し、システムの安定稼働を継続するためのメンテナンスや、業務改善のフィードバックを行うことも大事な機能のひとつです。 利用状況の把握 不具合発生時の状況の把握 レポーティングに利用する情報収集 様々だけど、運用に入ってから泣きを見ないように、しっかり設定しておきたい。 log4jを使ってログ出力 log4jは、Apache logging serviceのひとつで、Javaのロギングユーティリティです。今回は、Apache log4j 1.2.17について記載します。 柔軟な出力形式が可能 テキスト形式の出力はもちろん、HTML、XMLのファイル出力、メール送信なんてのもある。 ６段階のログレベルを提供 ログの重要度に対してレベル付けすることができ、設定ファイルのパラメータでログ出力
最初は誰しもがファッ！？となるんですよねロガーって。 いずれtree-tipsで公開しようと思っている、solrのプロジェクトを今作っています。mavenでjarを管理している訳ですが・・ なんだこのロガーの数は！！ commons-logging、log4j、slf4j-api、jcl-over-slf4j、logback-classic・・・・、こいつら一体何が違うんだ！どう使い分けるんだ！そもそも必要なのか！？となりました。 昔はcommons-logging＋log4jというのがトレンドだった訳ですが、今はslf4j＋logbackがトレンドになり、jdkも1.4から1.7になり、これらトレンドが推移する過程で、いろいろなjarが旧式に依存してしまい、旧式依存を解決するためにアダプタが登場し始め、mavenでjarを収集すると大抵両方入ってしまい、カオスになっているのです。 特にs
Bridging legacy APIs Often, some of the components you depend on rely on a logging API other than SLF4J. You may also assume that these components will not switch to SLF4J in the immediate future. To deal with such circumstances, SLF4J ships with several bridging modules which redirect calls made to log4j 1.x, JCL and java.util.logging APIs to behave as if they were made to the SLF4J API instead.
かなり前に悩んでたこと。 単なる相対パスだとuser.dirが基点になるため、Tomcat起動方法によって実際のファイルパスが異なってしまいます。 開発環境でEclipseから起動したらECLIIPSE_HOMEが基点に。 直接Tomcatのbin/start.batを叩いたら、TOMCAT_HOME/binが基点に。 これは気持ちが悪い。 できれば開発環境でも本番環境でもどのように実行しても同じディレクトリにログを出力して欲しい。 でも、絶対パスは書きたくないなぁと。 アプリルートディレクトリ内にあるのに、絶対パスを書くのって無駄にインストールディレクトリに依存するのでアホらしい訳です。 Googleさんに聞いてもいまいちしっくりくる方法が見つからないので、適当に考えてみました。 もしもっといい方法があれば教えてください。＞どなたか ↓ 起動時にJVM引数でシステムプロパティを指定する
JUnitで単体テストをやるときに、ログを成果物にすることが多い。 そんなとき、JUnitクラスを実行するたびにログファイルの 出力先を動的に変更できたらうれしい。 ということで調べてみた。 log4j.properties - log4j.rootLogger=DEBUG,Root log4j.appender.Root=org.apche.log4j.FileAppender ・・・ テストクラスのsetUpで下記のように記述 Logger log = Logger.getLogger("rootLogger"); FileAppender appendar= (FileAppendar)log.getParent().getAppendar("Root"); String[] split = this.getClass().getName().split("[.]"); append
こんにちは。 意外に、どうやればいいか１か所にまとまっているサイトがなかったので、 まとめのためにロギングフレームワーク移行の手順を残しておきます。 1.新旧ロギングフレームワーク？ ここでいう移行元、移行先のロギングフレームワークは下記です。 移行元：Log4j 移行先：SLF4J + Logback SLF4J + Logbackの方がLog4jに比べて下記のような点で優れているようです。 1.ログ出力時のパフォーマンス向上 2.ログ設定を起動中に再読み込みする設定が可能 3.デバッグログ出力時、isDebugEnabledメソッドでの囲みが不要 そのため、とりあえずログ出力をLog4jから移行しようと考えました！ ＃今さらかよ、という突っ込みはご勘弁を＾＾； ・・・なのですが、既存のコードを修正するのは面倒ですし、 元々Log4jを用いてログ出力を行っているフレームワークを用いること
で、/etc/syslog.conf に追加する行はこんなもんだろう。この出力は /var/log/log4j.log に出る。 local6.* /var/log/log4j.log /etc/syslog.conf を直したら、「リモート受信モード」で syslogd を起動し直す。RedHat 系 Linux だと、 # /etc/rc.d/init.d/syslog stop # /sbin/syslogd -r でとりあえず遊ぶ準備は整う。 SyslogAppender のオプションは次の通りだ。 SyslogHostリモート受信モードの syslogd が起動しているリモートログサーバのマシン名。1.2.14 で仕様が追加され、ここの表現としてログサーバのポートを指定できるようになった。後述。 Facility 使うfacility名。今回の設定だと「local6」である。 F
最近、ログまわりの設計をやっている*1。「どんなログが何のために必要なのか」という要件と、「プロダクトがどんなログを出力するか（どんな出力方式が設定できるか）」を検討し、よい落とし所を見つける、、そんな感じの作業だ。システム全体となると、機器やソフトウェアの数が多くって、ログ出力内容とログ管理（ローテーション、バックアップ、削除）まわりの検討が、（ゼロから徒手空拳で実施すると）やたらと面倒になる。「全部デフォルトの設定で、障害対応くらいできますよ」って言いたいところだが、ログ出力要件とログ管理要件が満たせていることは説明できなければならない*2。適当に流してドキュメントレビューで突っ込まれまくるくらいなら、それなりに精緻に設計していた方が楽だ*3。おっと、愚痴っぽくなってきてしまった。 さて、今日は「ログローテーションの仕組み（というか“方式”なのだが）」について、大きく3つに分類できるの
目次 QuickStart カテゴリー ログ出力 レイアウト log4Jの初期化 XML設定ファイル JoranConfigurator(1.3) commons-loggingから使う 速度に対する配慮 QuickStart まあ、抽象論よりも、具体的なコードを見ようじゃないか。サンプルコードはこんなものだ。 static protected Logger log = Logger.getLogger( TestLog4j.class ); public static void main( String [] args ) { // BasicConfigurator.configure(); new SimpleTest(); } SimpleTest( ) { try { BufferedReader br = new BufferedReader( new InputStreamR
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
