いままでスクレイピングで利用していたSeleniumだがChromeの変更なのか動かないことがあるため、別の方法でスクレイピングをしようと思い HTTPを直接使えばいちいちウインドウが開くこともなくスムーズに動くと思い実際に作成を試みたが非常に難しく2週間かけてようやく出来たのでそのメモ スクレイピングは時には大量のデータを送りつけたとして犯罪になる可能性があるので送信量には注意されたい。 HTTP HTTPとはテキストを送るプロトコルでHTMLなどの転送に主に用いられるがその仕組をいまいち理解していなかった。 まずHTTPにはいくつかのメソッドがあるが主に使われるのがGETとPOSTの2つである。 GET GETメソッドは指定されたURLからリソースを取り出すもので通常のWebページの閲覧ではこれが主に使われる。 HTMLのソースコードも画像もJavaScriptやCSSなどもGETを使
