Googlebot とは 意味/解説/説明 (グーグルボット)
グーグル社が用いているクローラー。公開されているサイトを自動的に巡回(クロール)して、Google検索のデータベースに登録する作業を行っている。
訪問を望まず、Googlebotによるサイトのコンテンツのクロールをブロックする場合は、いわゆる“検索避け”が可能。たとえば「robots.txt」への記述によりボットの挙動を抑制することなどができる。またクロール回数が多い場合、頻度の変更をリクエストすることもできる。
関連語の「クローラー」を参照のこと。
Googlebot とは | Google 検索セントラル | Google Developers
https://developers.google.com/search/docs/advanced/crawling/googlebot?hl=ja