http://coderepos.org/share/browser/lang/perl/TheSchwartz-Worker-Plugin-Log http://coderepos.org/share/browser/lang/perl/TheSchwartz-Worker-Plugin-Manager ◎TheSchwartz-Worker-Plugin-Log 実際に案件で使った際のログ仕様をほぼそのまま載せてしまっているのですが、 - pathとfileを指定して、任意のディレクトリにログファイルを吐く - 日付でローテーションされる 週ごとにログに吐きたいとか、そもそもＤＢに保存したいとかいう 要望には全く応えられない程度のシロモノです。 なので、今後の修正もその辺を念頭に考えてます。 ◎TheSchwartz-Worker-Plugin-Manager とりあえず名前訂正します
http://code.google.com/p/themasartz/source/browse/#svn/branches/workerbase ひとまず暫定で↑にコミットしてありますが、構成としては /test_client.pl /test_para_worker.pl /test_worker.pl /test_worker2.pl /lib/MyApp/Async/Test.pm /lib/MyApp/Async/Test2.pm /lib/MyApp/Hoge.pm /lib/TheSchwartz/Worker/Plugin/ModuleReload.pm /lib/TheSchwartz/Worker/Plugin/Parallel.pm こんな感じ。 上から順に。 ・/test_client.pl ジョブを突っ込むpl。2種類のジョブを投入 ・/test_worker.
The document discusses TheSchwartz, a job queue system using MySQL. It allows for [1] reliable queuing of jobs with attributes like job ID, function ID, arguments, and priority. Jobs can be [2] coalesced or split, with coalescing allowing grouping jobs by a common prefix. The system supports [3] monitoring jobs through methods to list, lookup, and find jobs by various criteria.Read less
miyagawa: Checking in changes prior to tagging of version 0.04. Changelog diff …
MySQLだと問題ないみたい。あと、job の引数に何を渡すかで変わってくるらしい…… [2010-2-16 追記] 追記時点での DBD::Pg と DBD::SQLite の最新版 (DBD::Pg-2.16.1, DBD::SQLite-1.29) では、以下に記述されているメモリリークは解消されています。記事自体は記録の意味も兼ねているので消さずに残しますが、ご注意ください。 ちなみに SQLite 用のスキーマは TheSchwartz 自身に同梱されていて t/schema-sqlite.sql に、PostgreSQL 用のはリポジトリの trunk にあります。doc/schema-postgres.sql 検証用のスクリプトは最後に載せますが、単に client が job を突っ込んで、worker が job を取り出して $job->completed() するだけ
最近TheSchwartが賑わってる様ですね。 TheSchwartzで仕事をあとにまわす - bits and bytes なければ勝手に作ってくれるのかなと思ってSYNOPSISのコードを実行してみたけどやっぱり自動でできたりはしなそうだったので調べたらCatalyst and TheSchwartz: Reliable JobQueue in a great framework - Voxにschema.sqlを使うといいと書いてありました。このスキーマをmysqlで実行すればTheSchwartzのキューを管理するためのテーブルが出来上がります。 http://labs.gmo.jp/blog/ku/2008/06/theschwartz.html Twitter / ku: TheSchwartzおもしろかった sqliteで動... TheSchwartzおもしろかった sql
web2.0 時代のジョブキューサーバー Gearman と TheSchwartz の関係について - TokuLog 改めB日記に書かれているとおり、Gearmanは仕事を投げられたらすぐやって返す前提になっていて今やりたくないけどあとでやるみたいなのができません。 たとえば、10分後にならできるんだけど、という仕事が来たとします。 このときGearmanのワーカの中でsleepして10分待つと、後から来たほかの仕事を一切しないで10分待つことになってしまって、後から来た仕事が今すぐできるものだったとしても10分待たれさるのでGearmanだと今来た仕事のためにsleepして待つわけにはいきません。 結果としてGearmanだとやってきた仕事を今すぐやるか、絶対やらないか、の二択になってしまいます。 それだと困るので、もう一方のTheSchwartzだと、今やりたくないけどあとでやる、
TheSchwartz の worker を Ctrl-C とか kill で止めた場合に、job の処理が半端な状態で終わられると困る、という話。以前 Deamon::Generic で TheSchwartz の worker をデーモン化する(2) - 酒日記 はてな支店 で諦めたんだけど、ちょっと必要に迫られたので考えてみたら一応できたっぽい。 package MyWorker; use strict; use warnings; use base qw( TheSchwartz::Worker ); sub sighandler { warn "caught signal @_\n"; no warnings 'redefine'; *TheSchwartz::work_once = sub { exit }; } sub work { my ($class, $job) = @
今さらTheSchwartzを使い始めました。 で、jobの状態を監視するWebインターフェースをCatalystで作ることになったのですが、いちいちTheSchwartzのインスタンスを作るのが面倒くさい。 でもそのためにModel作るのもアホらしい。 で、Catalyst::Model::Adaptorを使ってMyApp::Model::TheSchwartzを作ってモデルとして使うのをやってみたのでメモ。 HelperスクリプトでMyApp::Model::TheSchwartzを作成 script/myapp_create.pl model TheSchwartz Adaptor TheSchwartz 出来上がったMyApp::Model::TheSchwartzを変更 package MyApp::Model::TheSchwartz; use strict; use w
TheSchwartzについては以下がわかりやすい。 TheSchwartzは非同期かつ分散した環境で各種ジョブを処理させるという枠組みを再実装して利用しやすくしたもので，MySQL（SQLiteもサポート）上のデータベースにジョブを格納し，各ワーカープールで処理を行って結果を返す，という単純なフレームワークです。 第11回 OSCON 2007レポート みんなが注目している技術は？：サンフランシスコで昼食を｜gihyo.jp … 技術評論社 あとは以下のスライドでもっと詳しく知ることができる（71ページから） http://www.danga.com/words/2007_04_linuxfest_nw/linuxfest.pdf gearmanというジョブキューとTheSchwartzとの違いは以下のエントリがわかりやすい。 http://d.hatena.ne.jp/tokuhiro
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
TheSchwartz の worker をデーモンにしたくて、どうしようかと。daemontools でもいいんだろうけど、CPAN で見つけた Daemon::Generic を使ってみた。 まず TheSchwartz の client (jobを投入する) と worker (jobを実行する) モジュールを普通に作る。 #!/usr/bin/perl # client.pl use strict; use TheSchwartz; use YAML qw/ LoadFile /; my $client = TheSchwartz->new( %{ LoadFile(shift) } ); $client->insert( 'MyWorker' => { t => time } ); package MyWorker; use strict; use base qw/ TheSch
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
