[B! digdag] gfxのブックマーク

gfx id:gfx

digdagに関するgfxのブックマーク (5)

ECSにおけるバッチ運用について - Speaker Deck
ECS + Hako + Digdagによるバッチ運用 AWS SUMMIT TOKYO 2017 JAWS-UG ナイトイベント
gfx 2017/06/03
おっ、これが最近 hatappi氏がよくブログを書いてるhako oneshot + digdagな分散バッチシステムかな？

ECS

Docker

hako

digdag
リンク
digdagをDockerizeしてECS上で運用することにしました - 雑なメモ
データ分析や可視化に伴う複雑なジョブフローの改善にはdigdagが便利です。少しずつ採用事例も増えているようです。 qiita.com 今回は、そんな便利なdigdagをECS上に構築しました。 *1 事前知識 digdagに関する基本的な知識は、以前のエントリを参考にしてください。 yukiyan.hatena blog.jp コードサンプル用にコードを公開しました。 github.com digdagをDockerizeし、設定ファイル(digファイル)も一緒に固めてECRにpushしています。つまり、digdagの最新の設定ファイルは常にECRにある状態です。 digdagの設定ファイルを変更したブランチがmasterにマージされると、shippableがdocker build・digdag check・docker push・ECSに関する処理をおこない、古いdigdagコン
gfx 2017/05/12
digdag
リンク
Digdag on Dockerで何度コンテナを立て直しても状態を維持する - hatappi.blog
digdag入門しはじめた— hatappi (@hatappi) 2017年5月11日しました DigdagはDocker上でタスクに依存性をもたせて処理を実行するために使用し始めました Digdagを使うことが出来るDocker Imageは今回は自前で用意したものを使用します ※ Digdagのバージョンは0.9.10 https://hub.docker.com/r/hatappi/digdag/ ENTRYPOINTにはdigdagを指定しているので docker run hatappi/digdag init hoge みたいに使えます例えば下記のようなワークフローを/tmp/workflow.dig にホストマシンに定義したとします timezone: Asia/Tokyo +setup: echo>: SETUP! +echo_date: sh>: date +clea
gfx 2017/05/12
digdag
リンク
Digdagのセッションについて調査メモ - Qiita
+task1: sh>: echo task1 +task2: sh>: echo task2 +task3: sh>: echo task3 $ digdag run workflow.dig 2017-03-15 20:25:15 +0900: Digdag v0.9.5 2017-03-15 20:25:17 +0900 [WARN] (main): Using a new session time 2017-03-15T00:00:00+00:00. 2017-03-15 20:25:17 +0900 [INFO] (main): Using session /private/tmp/tmp.jxd7km/mydag/.digdag/status/20170315T000000+0000. 2017-03-15 20:25:18 +0900 [INFO] (main): Start
gfx 2017/05/10
digdagのlocal modeにおけるsessionの振る舞いについて。

digdag

session
リンク
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11
分散ワークフローエンジン『Digdag』の実装 at Tokyo RubyKaigi #11 - Download as a PDF or view online for free
gfx 2017/04/28
digdag
リンク
1