Googleにクロールをリクエストする方法とは？クローラビリティを向上させるポイントも紹介！

GoogleでSEO評価を高めるために、新しいコンテンツを作成したり、既存のコンテンツを更新しても、Googleクローラーに巡回してもらわなければ検索結果には表示されず、ユーザーには届きません。

「公開したのになぜかクロールされない」「クロールされているのに検索結果に表示されない」という状況で戸惑っている方もいらっしゃるのではないでしょうか。

実は、クロールは待っているだけでなく、自らリクエストすることができるんです。

そこで今回は、Googleにクロールをリクエストする方法やクローラビリティを向上させるポイントについて解説していきます。

Googleクローラーとは

Googleクローラーとは、WEB上のページを巡回し、情報を収集してGoogleのデータベースに登録するロボットのことです。

GoogleクローラーはWEBサイトのリンクを辿り、どんな情報が提供されているのかを読み取ります。読み取った情報はデータベースに蓄積され、Googleのアルゴリズムに基づいてランキングが決まり、検索結果に表示されるようになります。

コンテンツを作成して公開したからといってその瞬間に検索結果に表示されるわけではなく、クロールという工程を挟むことで初めて検索結果に表示され、認知拡大や集客アップにつながるのです。

Googleクローラーは自動的にWEB上を巡回しているため、特別に何かしなくてもページを見つけて読み取ってくれます。しかし、現在は文章や画像、動画など様々なコンテンツが毎日のように生まれ続け、WEB上には膨大な量の情報が転がっています。

そんな中で、Googleクローラーがすべてのページを漏れなくクロールすることは難しく、WEBサイトを訪問してもクロールできずに登録されなかったり、そもそも訪問するまでに時間がかかってしまうこともあります。

そこで、Googleクローラーに自社のWEBサイトを訪問してもらうためにクロールをリクエストすることができます。自ら訪問を誘導することで、より短いスパンでクロールしてもらうことができ、ユーザーに新鮮なコンテンツを届けることが可能になります。

Googleにクロールをリクエストするには

Googleにクロールをリクエストするにはいくつか方法がありますが、ここでは代表的な2つの方法を紹介します。

URL検査ツールを使う

Googleにクロールをリクエストする1つ目の方法はURL検査ツールを使うというものです。

手順は以下の通りです。

1. Google Search Consoleにログインし、左側のメニューバーから「URL検査」をクリックする。
2. ヘッダーの中の検索窓にクロールを促したいページのURLを貼る。
3. 2で貼ったページのGoogleへの登録状況と一緒に「インデックス登録をリクエスト」というテキストが表示されるためクリックする。

以上の3ステップでGoogleにクロールをリクエストできます。

既存のページですでにクロールされているものに関しては「URLはGoogleに登録されています」と表示されます。

新規のページでまだクロールされていないものに関しては「URLがGoogleに登録されていません」と表示されます。

どちらにせよ、「インデックス登録をリクエスト」をクリックすることでクロールのリクエストが送信されるため実施してみてください。

XMLサイトマップを送信する

Googleにクロールをリクエストする2つ目の方法はXMLサイトマップを送信するというものです。

XMLサイトマップとは、検索エンジンにWEBサイト全体の情報を伝えるためのマップのことです。このサイトマップを作成することで、Googleクローラーがサイト内を巡回しやすくなり、クロールしてもらえるようになります。

XMLサイトマップを作成するには、「sitemap.xml Editor」のような無料のツールを使うか、WordPressでの運用であればプラグインをインストールする方法が主流です。どちらかやりやすい方法で作成しましょう。

XMLサイトマップ作成後の送信手順は以下の通りです。

1. Google Search Consoleにログインし、左側のメニューバーから「サイトマップ」をクリックする。
2. 「新しいサイトマップの追加」というテキストの下に作成したXMLサイトマップのURLを貼って送信ボタンをクリックする。

以上の2ステップでGoogleにクロールをリクエストできます。

この方法でリクエストすることで、新規ページが複数あっても一度にGoogleクローラーに伝えることができ、サイトマップ内のURLに沿ってクロールしてもらえるように促すことができます。

クローラビリティを向上させるポイント

クローラビリティとは、Googleなどの検索エンジンのクローラーがいかに巡回しやすいサイトであるかを図るものです。クローラビリティが向上すれば、Googleクローラーに見つけてもらいやすくなり、ユーザーにいち早くコンテンツを届けられるようになります。

ここでは、クローラビリティを向上させるために意識すべき5つのポイントを紹介します。

内部リンクの最適化

内部リンクとは、WEBサイト内のコンテンツ同士のリンクのことです。Googleクローラーはこの内部リンクを辿って情報を読み込んでいくため、内部リンクが整備されていないWEBサイトはクロールされにくくなってしまいます。

例えば、悩みを持つユーザーが自社のコンテンツを読んでくれた場合、関連性の高いコンテンツがページ内にリンクされていればすぐに遷移することができ、より多くの有益な情報を得て悩みを解決できる可能性が高まりますよね。

関連性が高いコンテンツをリンクさせ、内部リンクを最適化することで、クロールを促すと同時にユーザービリティとクローラビリティどちらも向上させることができます。

しかし、関連性の低いコンテンツをリンクさせてもGoogleからの評価にはつながらず、むしろ逆効果になってしまうため、リンクさせるコンテンツを見極め、過不足なく結び付けるようにしましょう。

良質な被リンクの獲得

良質な被リンクを獲得することでクローラビリティは向上します。

前述したように、Googleクローラーはリンクを辿っていくため、外部サイトに自社のURLが貼ってあれば、自社への流入が見込め、クロールしてもらいやすくなります。

ここで重要なのは、被リンクの量ではなく質です。もちろん多くの被リンク獲得はWEBサイト全体の価値を高めますが、どれだけ多くの被リンクを獲得したとしても、リンク元のWEBサイトの質が低ければGoogleからは評価されず、クローラビリティは上がりません。

良質な被リンクを獲得するためには、まずは良質なコンテンツを作成する必要があります。良質なコンテンツはユーザーからもGoogleからも評価されるため、上位表示されやすくなります。

上位表示されるコンテンツはみんなに見られているコンテンツということで信頼性が高いため引用や参考にされることも多く、自然に被リンクを獲得することができます。

また、コンテンツを更新した際にSNSでも発信することで拡散してもらえ、認知度が高まるでしょう。

階層は浅く、URLはわかりやすくする

WEBサイトの階層は浅い方がクロールしてもらいやすくなります。

Googleクローラーは浅い階層からクロールしていくため、階層が深くなるにつれてクロールされる順番が遅くなり、クローラビリティは低下します。

Googleによると階層が深いからといってSEOに不利というわけではないようですが、階層が深い且つ複雑なURLになるとクローラーが消耗してしまいクロールされにくくなってしまいます。

どうしても階層が深くなってしまう場合は、「https://example.jp/blog/seo/content-seo」のようにわかりやすいURLにしてクロールされやすい構造を作りましょう。

重複ページを削除する

重複ページを削除することでクローラビリティは向上します。

重複ページとは、「www」があるURLとないURLの両方があったり、「http://」と「https://」のどちらのURLからもアクセスできるページを指し、コピーコンテンツと判断されてしまうためGoogleからペナルティを受ける可能性があります。

このような事態を避けるためにも、301リダイレクト設定を行いましょう。301リダイレクトとは、WEBサイトをリニューアルした場合に、元のWEBサイトにアクセスしたユーザーを新しいWEBサイトに自動的に遷移させることです。

この設定を行うことでサイトが移転したことがGoogleに伝わり、どちらのページもクロールされて重複とみなされることがなくなります。

リダイレクトは一定期間設定しておく必要がありますが、URLは期間ごとに契約更新が必要になるため、どれぐらいの期間継続すればいいのか気になる方もいらっしゃるかと思います。

リダイレクトの期間について、GoogleのGary氏は少なくとも1年は継続するよう推奨しています。従って、Googleクローラーの処理が完了するまで少なくとも1年は続け、余裕がある場合には可能な限りリダイレクトを続けることで集客に悪影響を及ぼすこともないでしょう。

ファイルサイズは小さくする

GoogleクローラーはWEBサイト上のすべての情報、つまりテキストだけでなく画像や動画、コードなどもクロールしているため、ファイルサイズが大きいと消耗が激しくなり、Googleデータベースに情報を登録しきれなくなってしまいます。

そのため、ファイルサイズはできるだけ小さく圧縮し、クローラーの負担を軽くしましょう。ファイルサイズが小さくなれば表示スピードも上がるため、クローラビリティだけでなくユーザービリティも向上します。

不要なファイルは削除したり、サーバーのパフォーマンスを上げることも表示スピードアップにつながります。

Googleでクロールされているか確認する方法

Googleでクロールされるための対策を実施した後は、実際にクロールされているか確認しましょう。

「site:」で検索をかける

クロールされているか確認したいときは、下記のようにURLの前に「site:」をつけてGoogle検索してみましょう。

「site: クロールを確認したいページのURL」

クロールがすでに行われ、Googleに登録されていれば検索結果に該当ページが表示されます。検索結果に表示されなければ、上記で紹介したGoogleにクロールをリクエストする方法を行いましょう。

Google Search Consoleを使う

Google Search Consoleでも、クロールされているか確認できます。

特定のページにクローラーが訪問しているか確認したい場合は、上記で紹介したGoogleにクロールをリクエストする方法のURL検査ツールを使う手順で確認できます。

WEBサイト全体のクローラビリティが向上しているかを確認したい場合は以下の手順で行いましょう。

1. Google Search Consoleにログインし、左側のメニューバーにある「設定」をクリックする。
2. 画面中央に「クロール統計情報」の項目が表示されるため、右側の「レポートを開く」をクリックする。
3. 過去90日間のGoogleでのクロール状況がグラフとなって表示されます。1日あたりのクロールされたページ数やクロールするのにかかった時間がわかるため、クローラビリティが向上していることや表示スピードが上がっているか確認できます。

まとめ

今回は、Googleのクロールに関して、クロールをリクエストする方法やクローラビリティを向上させるポイントを解説しました。

Googleクロールは自動的に行われるとはいえ、混沌とした内部リンク、質の低い被リンク、ファイルサイズの大きさなど、あらゆる要素が組み合わさることでクロールされにくくなってしまうため、今回の記事を参考にして自社のWEBサイトがきちんと最適化されているか、いま一度確認してみてください。

弊社では、SEO内部対策、外部対策、コンテンツSEOすべてに精通しており、包括的なサポートが可能です。

お客様の事業、要望などをヒアリングしながら、事前調査、サイト構築、キーワード選定、コンテンツ作成、効果測定までワンストップで承ります。

本格的にSEO対策に取り組みたい方は、お気軽に弊社までお問合せ下さい。