HTTPステータスコードをGooglebotはどのように処理するのか? Googleが詳細に解説
Source: 海外seoブログ
HTTPステータスコードをGooglebotはどのように処理するのか? Googleが詳細に解説
Googlebot
Googlebot は、Google のウェブクローラの総称です。デスクトップでユーザーをシミュレートするデスクトップ クローラと、モバイル デバイスでユーザーをシミュレートするモバイル クローラの 2 種類のクローラがあります。
通常、ウェブサイトは Googlebot Desktop と Googlebot Smartphone の両方でクロールされます。Googlebot のサブタイプは、リクエストのユーザー エージェント文字列で確認できます。引用:Google検索セントラル
(URL https://developers.google.com/search/docs/advanced/crawling/googlebot?hl=ja)
代表的なエラー
404Not Found アクセスしたページがない。
403 Forbidden アクセスしたページにアクセス権がない。アクセスしたディレクトリにindex.js index.htmlがない。
503 Service Unavailable サーバーエラー。プラグイン更新時になった場合は、ftpで更新したプラグインを削除すれ復活する場合がある。