Googlebotがクロールするのは最初の15MBまでのコンテンツ。それ以降はクロールせず(出典 海外seoブログ)
Source: 海外seo(出典 海外seoブログ)
Googlebotがクロールするのは最初の15MBまでのコンテンツ。それ以降はクロールせず(出典 海外seoブログ)
Googlebot
Googlebot は、Google のウェブクローラの総称です。
デスクトップでユーザーをシミュレートするデスクトップ クローラと、モバイル デバイスでユーザーをシミュレートするモバイル クローラの 2 種類のクローラがあります。
通常、ウェブサイトは Googlebot Desktop と Googlebot Smartphone の両方でクロールされます。Googlebot のサブタイプは、リクエストのユーザー エージェント文字列で確認できます。
ただし、両方のクローラタイプが robots.txt 内の同じプロダクト トークン(ユーザー エージェント トークン)に従うため、robots.txt で Googlebot Smartphone または Googlebot Desktop のどちらかをターゲットにすることはできません。
サイトを Google のモバイル ファーストに移行している場合、Googlebot のクロール リクエストの大部分はモバイル クローラを使用して行われ、一部がデスクトップ クローラを使用して行われます。
出典 Google検索セントラル
(URL https://developers.google.com/search?hl=ja)
Google 検索の 3 つのステージについて
Google 検索には 3 つのステージがあります(すべてのページが各ステージを完了できるわけではありません)。
- クロール: Google は、クローラと呼ばれる自動プログラムを使用して、インターネット上で見つかったページからテキスト、画像、動画をダウンロードします。
- インデックス登録: Google は、ページ上のテキスト、画像、動画ファイルを解析し、その情報を Google インデックス(大規模なデータベース)に保存します。
- 検索結果の表示: ユーザーが Google で検索すると、Google はユーザーの検索語句に関連する情報を返します。
出典 Google検索セントラル
(URL https://developers.google.com/search?hl=ja)