Googleクローラーとは｜itomakihitode.jp

Googleクローラーとは、ウェブページを巡回して情報を収集し、Googleのデータベースに登録（インデックス）するためのプログラムのことです。Googlebot（グーグルボット）とも呼ばれます。

このプログラムが定期的に、サイトの新しいページや更新された箇所を読み取り、検索結果に最新の内容を反映していきます。

クロールされなければインデックスに登録されず、更新した内容も反映されません。
つまり、SEO対策にはクローラーへの配慮も必要ということです。

この記事では、検索エンジンのクローラーについてご説明します。

Googleのクローラーとは
1. クローラーの種類
クロールとは
1. クロールされるとどうなるのか？
クローリングを最適化する方法
まとめ

Googleのクローラーとは

クローラーとは、冒頭でもご説明したとおり、ウェブ上のページを巡回して、その情報を集めてくるプログラムのことです。

クローラーは主にリンクをたどってページを巡回しますが、すべてのサイト・ページを毎日巡回するわけではありません。
Googleは、どのサイトをどの頻度でクロールし、何ページ取得するかをアルゴリズムで決めていると説明しています。サイトに負荷をかけないように速度を抑える仕組みもあります。
参考：Google 検索の仕組みの詳細ガイド

そのため、クローラーに重要なページを中心に効率よく巡回してもらうことが重要です。
内部リンクの構築と、XMLサイトマップの送信がその土台になります。新しいページや更新したページは、Search Consoleの「URL検査」からインデックス登録をリクエストすることもできます。

クロールの頻度で検索順位が決まるわけではありません。Googleは、クロール頻度を上げるためや順位を上げるための支払いは受け付けていないと明言しています。クローラーにとってわかりやすいサイトにしておくことが大切です。

クローラーの種類

Googleのメインのクローラー「Googlebot」には、スマホの利用者をまねた「Googlebot Smartphone」と、パソコンの利用者をまねた「Googlebot Desktop」があります。Googleはほとんどのサイトをスマホ版の内容でインデックスしているため、クロールの大半はスマホ版のGooglebotで行われます。
このほかに、画像用の「Googlebot-Image」など用途ごとのクローラーや、BingなどGoogle以外の検索エンジンのクローラーもあります。
参考：Google のクローラーとフェッチャーの概要

SEO対策ではGoogleのメインのクローラーが対象なので、種類をあまり気にする必要はありません。理由があって特定のクローラーのクロールを断りたい場合は、robots.txtにクローラーの名前（ユーザーエージェント）を指定して制御できます。

クロールとは

クローラーがページをクロールするとは、クローラーがページを巡回して情報を収集することです。

集めた情報はGoogleのデータベースに登録され、検索されたときに数百の要素をもとに順位が付けられて表示されます。

つまり、検索結果に表示されるには、Googleのクローラーにページをクロールしてもらう必要があります。

インデックスに登録されているかどうかは、Search Consoleの「URL検査」で確かめられます。前回クロールされた日時と、どのクローラーが使われたかもここに表示されます。
検索窓に「site:確認したいページのURL」と入れて検索する方法もありますが、こちらは目安です。
参考：URL 検査ツール - Search Console ヘルプ

インデックスに登録されていない場合、URL検査の「インデックス登録をリクエスト」で登録を依頼できます。ただし、リクエストしても登録されるとは限りません。

クロールされるとどうなるのか？

クロールされると、検索結果に最新の情報が反映されます。
もちろん、検索キーワードに合った内容と評価されることが前提で、順位はGoogleのアルゴリズムで決まります。

例えば、公開して間もないページは、クローラーが巡回するまで検索結果に表示されません。すでに公開されているページなら、更新した内容が反映されます。

Googleはクロールのときに最新版のChromeでページを描画し、JavaScriptも実行します。JavaScriptで表示している内容も読み取られますが、HTMLに直接書かれた内容のほうが確実です。

また、クローラーは一度にサイトのすべてを読むわけではありません。
必要のないページばかりクロールされていると、重要なページや更新箇所が見つけられない可能性があります。

そのため、重要なページを中心に効率よく巡回してもらうことが大切です。

SEO対策では、読む人の使いやすさ（ユーザビリティ）とクローラーの巡回しやすさ（クローラビリティ）の両方を考える必要があります。

クローリングを最適化する方法

上位表示するには、クローラーに効率よくページをクロールしてもらう必要があることがわかりました。

続いて、クローリングを最適化する方法をご説明します。

インデックスされる必要のないページまでクロールされないように、サイトを管理することが大切です。

サイト構造を簡単にする

サイトをテーマごとに分類することは重要ですが、階層を深くしすぎると、重要なページまでクローラーが効率よくたどり着けません。

重要なページには、トップページから少ないクリック数でたどり着けるように、サイト構造は単純にしておくことが大切です。

テーマがあまりにも離れていて、複雑なカテゴリ分けが必要な場合は、サイトを分けたほうがテーマがはっきりすることもあります。

内部リンクを構築する

クローラーはリンクをたどって巡回します。外部からのリンクだけでなく、内部リンクからも巡回します。

そのため、内部リンクは必ず設置します。
ポイントは、関連する内容どうしをつなぐイメージで構築することです。

ページどうしの関連性が伝わり、検索エンジンからの評価も期待できます。

内部リンクとは

コンテンツを読みやすくする

読みやすくするとは、本文や内部リンクを画像ではなく、できるだけテキストで記述するということです。

クローラーはプログラムなので、画像に書かれた文字をそのまま読み取れるわけではありません。

画像には「alt属性」で説明文を設定しておくことも大切ですが、重要なテキストや内部リンクはテキストで表示します。

見出しや段落、リストなど、意味に合ったHTMLのタグで書くと、読む人にもクローラーにも内容が伝わりやすくなります。

robots.txtを記述する

クローラーは、一度クロールしたURLのリストと、robots.txtやsitemap.xmlなどをもとにページをクロールします。

重要なページをクロールしてもらうために、robots.txtにクロールの必要がないページを記述してブロックし、無駄なクロールを抑えます。

注意したいのは、robots.txtでクロールを止めても、ほかのサイトからリンクされているURLは検索結果に表示されることがある点です。Googleも「クロールをブロックしても、URLが検索結果に出なくなるわけではない」と説明しています。
検索結果に出したくないページは、クロールを許可したうえで“noindex”を付けます。絶対に見られたくないファイルは、パスワードで保護するなど、クローラーも人も読めない状態にします。
参考：Googlebot とは - Google 検索セントラル

まとめ

今回は、ページを巡回して情報を集める“クローラー”についてご説明しました。サイト内の重要なページをしっかりクロールしてもらうために、不要なページはブロックし、重要なページには内部リンクでたどり着けるようにしておくことが大切です。

どの程度クロールされているかは、Search Consoleの「設定」にある「クロールの統計情報」で確認できます。更新したページがなかなか反映されないときは、まずURL検査で前回のクロール日時を確かめてみてください。

Googleクローラーとは