Octoparseとは Octoparseは、どんなWEBサイト上のデータも手軽に抽出することができる無料スクレイピングツールです。 無料版だと、一部機能に制限がありますが、ヘビーユーズでもしない限りは、十分すぎるくらいの機能があります。無料版と有料版の違いについては、Pricingを参照してみてください。有料版だと、タスクの登録数や自動実行数が多くなり、クラウド上で動作させることもできます。 実際に使ってみた感じでは、視覚的に分かりやすくデータ抽出箇所を設定することができ、実行することができるツールになっています。 例えば以下のようなデータ抽出なら簡単にできてしまいます。 単一ページ上のデータを抽出するページネーションを移動しながらリストデータを取得するリストのリンク先もたどって取得するURLを複数指定して全てのページから指定したデータを取得するOctoparseは、上記のように様々なス
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 主にスクレイピングと定時実行を Google Apps Script で試しながら理解しようという記事です。 まえがき ※ プログラミング自体のお話はこの次のセクションからです。必要なければまえがきは読み飛ばしてください。 最近は、Google スプレッドシートに代表されるような Google ドライブがだいぶ浸透しました。業務にがっちり組み込まれた VBA アプリケーションやマクロなどがない場合は、MS Office からの移行も盛んなように思えます。 Excel もとい表計算ソフトが大好きな私達ですが、Google スプレッドシート
{"status":403,"reasonKey":"com.atlassian.pocketknife.api.commons.error.AnError","helpCenterBranding":{"logoUrl":"https://api.media.atlassian.com/file/2e44dc73-d60c-41a3-9902-34c5c577e860/image?token=eyJhbGciOiJIUzI1NiJ9.eyJpc3MiOiJlMGM4MDI0My0zZmQ4LTRjOTMtOWUzMS03ZjVkNzYzZGJjNGEiLCJhY2Nlc3MiOnsidXJuOmZpbGVzdG9yZTpmaWxlOjJlNDRkYzczLWQ2MGMtNDFhMy05OTAyLTM0YzVjNTc3ZTg2MCI6WyJyZWFkIl19LCJleHAiOjE3MjU1
スクレイピング（またの名をクローリング）サービスをまとめてみました。 import.io Import.io | Web Data Platform & Free Web Scraping Tool URLを入力してボタンを押すだけで、対象ページの内容を表形式でデータ化してくれる。 ページングにも対応。すごい。 フリーでもある程度使えるけど有料プランは月$249からと少々高め。 使い方 nelog.jp Portia Portia | Scrapinghub PythonのスクレイピングフレームワークScrapyの開発元、ScrapeHub社のサービス 固定料金制。$9/月から。 使い方 http://www.moongift.jp/2016/03/portia-dom%E3%81%A7%E6%8C%87%E5%AE%9A%E3%81%A7%E3%81%8D%E3%82%8B%E3%82%
私が働いている会社では、社内のコミュニケーションツールとしてSlackを利用している。 slack.com Slackはメッセージやグループチャットを綺麗なUIで使えることに加え、Google DriveやDropbox、GitHub等の様々なサードパーティとのサービス連携が豊富であることから、利用事例にもある通り主に北米で多数の利用者を獲得している。 また、Slackではbotと呼ばれる「プログラムで行動を決められるユーザー」を追加することで、特定の条件下で自動的にメッセージを投稿したりファイルをアップロードしたりすることができる。botについて詳しくはSlackのWebサイトを参照のこと。 今回は、Google Apps Scriptを使ってWebサイトをスクレイピングし、その結果をSlackに投稿するbotを作成するためにいろいろ調査をした内容を書く。 Google Apps Scr
I'm using Google Apps Script for a lot of things - from automate tasks to data analysis. I have discovered, that there was repetitive use-case: scrape data from web and parse exact value from HTML source code. If you are novice in programming, you probably know, that's difficult to write and use regular expresion. For me too :) I have written Google Apps Script library, which helps you to parse d
2015 - 10 - 02 ［GAS］ウェブサイトをスクレイピングする Google Apps Script Google Apps Scriptは、HTTPの処理や定期実行ができるため、 スクレイピング も簡単にできます。 実装手順としては、次の通りです。 UrlFetchAppで対象コンテンツをfetch HtmlResponseクラスのgetContentText() メソッド で文字列化 正規表現 で文字列を加工 加工した情報をSpreadsheetやDBに書き込む Google 検索結果をSpreadsheetに書き込むサンプル Google の特定文字列を検索した結果をSpreadsheetに書き込むサンプルを実装しました。 サンプルでは、XmlServiceクラスを使っていますが、 正規表現 のみで加工しても問題ありません。 function loggingToSpread
外部のWebサイトから必要なデータを取得する場合、指定のアドレスにアクセスする処理を用意しなければいけません。JavaScriptの場合、スクリプトがダウンロードされたサイトにしかアクセスすることができませんが、Google Apps Scriptにはそんな制約はありません。なにしろ、サーバーサイドで実行されるスクリプトですし、そのためのオブジェクトもちゃんとライブラリとして用意されているのです。 指定のアドレスにアクセスするための機能は、「UrlFetchApp」というオブジェクトとして用意されています。このオブジェクトのもっともシンプルな使い方は、「fetch」というメソッドを呼び出すだけです。 変数 = UrlFetchApp.fetch( アドレス );引数に、アクセス先となるアドレスを指定するだけで、そこにアクセスしてサーバーからデータを取り出すことができます。もう少し細かなアク
はじめに Livesense Advent Calendar 2015(その2) 、13日目を担当します、ktmgです。 ふだんはSEOなどやっております。 さて、Advent Calendar 2015。 「なんかエンジニアさんたちが楽しそうなことやってるなー」とハタから眺めていたのが昨年。 今年は職種不問にしたからなんか書け、という @masahixixi さんの指令を受け、はじめて投稿させていただきました。 本記事では「非エンジニアでもできる簡単スクレイピング 」というテーマにからめて、 Google SpreadSheetの便利な関数：9 Chromeの便利な機能：1（Copy XPath） をご紹介します。 素材・完成形 http://qiita.com/advent-calendar/2014/livesense 昨年の Advent Calendar を素材に、投稿記事一覧の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
