最近のRubyのクローラーは、EventMachineを使って並列化するのが流行のようです。EventMachineは、非同期処理をお手軽に実装できるフレームワークです。Rubyのスレッド機能との違いは、Reactorパターンを使いシングルスレッドで実装している点です。こちらのブログが詳しいので参考になります。 「見えないチカラ: 【翻訳】EventMachine入門」 EventMachineを使うと、イベント・ドリブンの処理を簡単に実装出来ます。使い方は簡単ですが、通常の同期処理やスレッドをつかった処理に比べると、どうしてもコードの記述量は多くなります。今回の例である並列化してクローラーを走らせるという用途であれば、短時間で多くのサイトにアクセスするのが目的です。イベント・ドリブンで並列化処理を実装するのが目的ではないはずです。その辺りの面倒くさい処理を実装したライブラリがcosmic
追記: C言語版書いた! 僕が参加していたUT Startup Gymの大先生である@tushuheiさんが、たった10行のコードでひたすらアイドル水着画像をあつめるという刺激的なエントリを書いておられたので、対抗したくなった ＿人人人人人 人人人人人人人＿ ＞Rubyなら3行で書けるっ！＜ ￣Y^Y^Y^Y^Y^Y^Y^Y^Y^Y^￣ require 'open-uri' url = "http://matome.naver.jp/odai/2135350364969742801" open(url).read.scan(%r{<img src=".+".*?class="MTMItemThumb".*?/>}) {|m| puts m} 終わり！ 後はターミナルで $ ruby crawler.rb > photos.html $ open photos.htmlぐははは！ Ruby素
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
