[B! Chrome] tanorityのブックマーク

tanority id:tanority

Chromeに関するtanorityのブックマーク (4)

【完全版】PythonとSeleniumでブラウザを自動操作(クローリング／スクレイピング)するチートシート
Pythonの『Selenium』というサードパーティ製のモジュールを用いれば、Google ChromeやFirefoxなどのブラウザで行っている操作を自動化することができます。ある特定のWebページからデータを収集したりやファイルをダウンロードしたり…。
tanority 2019/12/09
Selenium

Chrome
リンク
リンクもまるごとキャプチャしてSVGで出力するChromeスクリーンショット拡張をつくりました - #daiizメモ
閲覧しているウェブサイトの選択された範囲のスクリーンショットを撮ってSVG形式でダウンロードできるChrome 拡張機能をつくりました．SVGで出力しているため，普通のPNGやJPGと比べると，以下のような少しだけ高度なことができます．スクリーンショットを撮ったページのURLを<svg>のdata属性として保持できるスクリーンショットの範囲内のリンクをそのまま残すことができる．ページ中の<a>の位置に，外部ページヘのリンクを持つ<rect>を挿入しています．クリックするとリンク先のページが開きます．ブラウザで通常リンクと同じように扱われるため，rectをホバーするとChromeの左下にジャンプしようとしているURLが表示されるので，移動先もしっかり確認できます．まだかなり荒いベータ版ですが，GitHubで公開しています．クローンして，そのままChromeの拡張機能管理ページから読み
tanority 2019/02/17
Chrome

拡張機能

github

SVG

あとで読む
リンク
【裏技】みんな知らないログイン必須ページの爆速スクレイピング【モテるシェル芸】 - ps aux | grep serinuntius
おはようございます。裏技ってつけると急にワザップ感が出て、懐かしいですよね〜。こないだ飲み会で同期とそんな話をしておりました。本題ログインが必要なWebサイトで画像を引っこ抜いて欲しいという依頼があり、スクリプトを書くかな〜と迷ったんですが、よく考えたらシェル芸だけで出来るな〜と思ったので共有したいと思います。今回はデザイナーにGitHubのIssueに貼ってある画像200枚以上をzipで欲しいって言われたので、それを題材にします。環境 Chrome curl grep egrep やり方 1. Chromeでおもむろにデベロッパーツールを開く Macなら Shift + Cmd + c等で開けます。 2. networkを選択するそのページのリクエストを見つけるたぶん、一番上のはず。 3. 右クリックして、Copy as cURLを選択今回の肝はこれで、ブラウザで送った
tanority 2018/07/21
Chrome

あとで読む

shell

github

スクレイピング
リンク
ヘッドレスブラウザ(Chrome)を使ってSPAをスクレイピングする - Qiita
一般的なスクレイピング手法とその問題点スクレイピングというと、HTTPクライアントライブラリを用いてHTML取得し、HTML/XMLパーサーで解析するというのが一般的だと思います。この手法の場合、以下の場合にうまく処理できません。ターゲットのページがJavaScriptにより動的にDOMを操作する場合 HTML/XMLパーサーが取得したHTMLを正しく解釈できない場合(正しくないHTMLでもブラウザはなんとか処理するが、パーサーライブラリは正確なHTMLでないと処理できないことがある) 特に問題になるのは前者でしょう。最近のWebサイトではJavaScriptでDOMを操作することは珍しくなくなってきています。SPAであればなおさら難しく、もはやこういった手法によるスクレイピングは不可能でしょう。ヘッドレスブラウザによるスクレイピング動的なDOMやパーサーがうまく解釈できないとい
tanority 2018/02/07
スクレイピング

Chrome

開発
リンク
1