robots.txtとは、Googleなどの検索エンジンのクローラーに対して、「どのURLにアクセスしていいか」を伝えるものである。 これを使えば、特定のページやフォルダのクロールを拒否できる（クロールさせない）ことができる。クローラーの動きを最適化することで、SEOの観点からも良い影響を得られる可能性がある。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
