普段の業務に、週に一回とか一定の間隔で、複数のwebサイトから情報を収集し、レポートを作るっていう作業はありますか？ 僕は最近、こういう作業を自動化して、速攻終わらせるスキルをついに手に入れたんです！ プログラマーっぽくて嬉しい！！ では、この自動化のやり方を、僕のアプリに貼ってるAppBankの広告の収益情報を取得してCSVで出力するという例で説明します！！ ログインして、目的のページを取得する 目的のページから必要な情報を取り出す 必要な情報を出力する 今回必要なもの ・プログラム言語 Ruby ・情報を取得するライブラリ mechanize-2.7.0 プログラムでブラウザをエミュレートすることができるライブラリです。 今回は、rubyで使いますがperlとかphpとか他の言語でも使えます！ 必要な情報を取り出すライブラリ Nokogiri 1.6.0 Htmlからテキストを取り出す
Nokogiri 1.6.0 のインストールは、そのひとつ前の 1.5.10 と比較してとても遅い。これは、 1.6.0 では libxml2 および libxslt を同梱し、環境に合わせてビルドするようになったからだ。 gem install nokogiri したときにライブラリ不足で止まってしまうのはストレスフルだったので、これは人によっては嬉しい変更なんだろう。 ただ問題は、 libxml2 や libxslt がシステムに入っている場合でも、これらのビルドが行われることだ。 gem update するだけなら気にならないが、 bundle install にて nokogiri を利用するような環境の場合、繰り返しライブラリをビルドされるとさすがに時間がもったいない。 こういったケースでは、 NOKOGIRI_USE_SYSTEM_LIBRARIES 環境変数を設定しよう。この
Overview Overview API Support Tutorials Changelog About Nokogiri¶ Nokogiri (鋸) makes it easy and painless to work with XML and HTML from Ruby. It provides a sensible, easy-to-understand API for reading, writing, modifying, and querying documents. It is fast and standards-compliant by relying on native parsers like libxml2, libgumbo, and xerces. Guiding Principles¶ Some guiding principles Nokogiri
サンプルで使ったライブラリ gem install nokogiri gem install mechanize Nokogiri HTMLを操作するためのライブラリ tenderlove/nokogiri · GitHub Mechanize Webサイトへ自動でアクセスするためのライブラリ tenderlove/mechanize · GitHub HTMLを操作するサンプル 型番で検索して、価格コムの最安値を出力するサンプル # coding: utf-8 require 'rubygems' require 'nokogiri' require 'open-uri' model_number = 'L32-V09' page = open("http://kakaku.com/search_results/#{model_number}/") html = Nokogiri::HT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
