クロールバジェットとは?【SEO対策】サイト設計でクロール効率UP

 
ポチ
さっそくだけどクロールバジェットって知ってる
 
ヒデ
クロールってことは、検索エンジンに関係してるのかなー?
 
 
ポチ
そのとうり!クロールしてもらうにもサイト設計しないとクロール率が下がってしまって、見てもらいたいサイトが見てもらえなくなってしまうんだ。
 
ヒデ
そうなの!?

【本記事の信頼性】

ヒデブログのアイコンイラスト
① 大手メーカーWEBコンサル歴10年ほど
② 経営の収益8桁の実績(WEB運用以外も諸々)
③ ブロガー(海外マーケティングを知ってるほう)
Twitter  ヒデとポチ🌏「ポチと始めるブログ収入」

『クロールバジェットとは?【SEO対策】サイト設計でクロール効率を上げる』

第 1 章 クロールバジェットとは?

クロールバジェットとは?のイラスト

クロールバジェットとは 

 検索エンジンがクロールするページ数のこと

クロールバジェット(クロールするページ数)を多く持つサイトとは?

  • 人気があるサイト
  • 質の高いサイト
  • 更新頻度が高いサイト

サイトやブログの 人気度や更新頻度が高いサイトほど大きなクロールバジェットを持つ傾向があります。

検索エンジンのクローラが、世界中の全てのサイトの全ページにアクセスすると、100億ページ以上に毎日アクセスする必要があります。

仮に100億ページを月に1回巡回するためには、1秒間に3858ページをクロールする必要があります。

ただ全部のサイトやページが平等にクロールされるわけではありません。

重要なコンテンツが詰まっているサイトや更新が早く情報の新鮮さが重要なページは優先して、高速にクロールされます。

その時サイトの重要度やページ毎の更新速度を考慮してクロール速度が決められます。

サイトの重要度でクロール率が変わる図

クロールされるページ数が決まるクロールバジェット

クロール頻度に加えてもう一つ序列が決まるのが、サイト内で何ページ目までクロールするかです。

重要なサイトであれば多くのページがあっても全部クロールすべきですし、ほとんど中身のないサイトであれば何百ページあったとしても1ページしかクロールしないかもしれません。

このようにサイトの重要度によって、検索エンジンがクロールするページ数は決まっているようです。

サイト評価が低いほど、インデックスされないページが出る可能性が増えます。
クロールバジェットの概念

第2章 クロールバジェットのクロール効率を上げる方法

クロールバジェットのクロール効率を上げる方法のイラスト

残念ながら、自分のサイトのクロールバジェットが、どのくらいなのかを知る方法はありません。

では具体的に何をすればいいのでしょうか?

サイトやブログ内のページ数が比較的多い中大規模サイトの場合は、まずクロールバジェットを節約することをお勧めします。

以下のような方法でクロールバジェットの節約が可能なので、節約できる部分がないか確認していきましょう。

404の設定

404とはサイトにアクセスしたものの該当するページがないことを示すエラーメッセージです。

削除されたページはサーバーから404を返すことによって、何その URL はクロール対象から外されます。

この設定が正しく入ってきているかチェックしましょう。

 

類似ページの設定

オートバイのヘルメットなので、色ごとに型番が異なるような場合、ユーザーは前職を1ページで見たいと想定されます。

もし前職を一覧できる電子等各職のページがそれぞれ別に存在するような場合には、各色の兵士が類似ページと認識されます。

このようなページは ajax による画面内での画像差し替えなどを用いて、

各色のページがクロールされないようにすると良いでしょう。

ページネーションの設定

1ページ内に表示できる情報の件数が少ないと結果としてページ数が増えクロールバジェットを消費してしまいます。

サイト内検索

サイト内検索血管をトップページからリンクしてるような場合、サイト内検索がインデックスされてしまうことがあります。

むやみにインデックスさせないように注意するととに、意図的にインデックスさせる場合には、サイト内検索結果画面内に、別サイト内検索結果へのリンクを絶対はらないようにしましょう。 

ポチとヒデからのまとめ

 
ポチ
今日はクロールバジェットについて深堀りしてみたけどどうだった?
 
ヒデ
クロール率をコントロールすることって、とても大切なのが分かったよ。
 
ポチ
ものすごく多くのサイトがあるから効率的に見てもらわないとね。
最後に重要ポインとをまとめるね。
記事を最後まで読んでくれた方も、
ありがとうございました。
 まとめ

・質が高く、更新頻度が高いさいとはクロールバジェットが高くなる。

・逆に質が低いサイトはクロールされづらくなる!

・サイト設計してクロール率を上げよう!

その他のSEO対策の記事も合わせて読んでみてください。

関連記事

 ポチと一緒に解決したい問題・内部リンクについて詳しくなる・リンクの方法は何があるか知りたい・内部リンクのコツ・WordPressテーマで簡単に設定できるようになりたい【この記事の信頼性について】① 大手メーカーWE[…]

内部リンクのコツ!ブログSEO最適化ンクのコツ