こんにちわ、Takaです。最近仕事でPythonの『Scrapy』を多く使用するのですが、今回はそのScrapyでクローリングする際にダウンロードエラーを取得してハンドリングする方法を備忘録も兼ねて紹介したいと思います。 Scrapyとは、Pythonのクローリング・スクレイピングのフルスタックフレームワークになります。とても強力で便利なフレームワークになり、冗長的な処理をフレームワーク側がやってくれるので、クローリング・スクレイピング処理に集中することができます。 なお、今回のコードはScrapyのバージョン1.4.0をベースにしたものです。 さて、まずはScrapyのSpiderクラスのサンプルコードをみていきましょう。 import scrapy class MySpider(scrapy.Spider): name = 'example' allowed_domains = ['e
突然ですが Scrapy v1.1.0 から Python 3 に対応して嬉しいですね。これまで Scrapy のために 2.7 で通してきたんで。 さて、今回は Scrapy における エラーハンドリング(例外処理) についてまとめようと思います。 スクレイピングという行為は外部の構造化されていないデータを取ってくるものなので例外はつきものです。 例外が投げられたとき 何となく正常終了したように見せる ことは厳禁です。例外から正しく復帰させるか、または例外が投げられたならば正しく落とすことが重要です。 でないと、その後に例外に気づいて調節→リトライできませんからね。 Scrapy データフローに沿ったエラーハンドリング スクレイピング中に起こる不測の例外をキャッチするために通常の try ... except 文を使う事はできません。 なぜなら、我々が記述した Spider を実際に起動
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
