Crawl予算の最適化:Googlebotをワースから停止する
Googlebotが貴重なものを無駄にするために、サイトがコンテンツ、再設計、およびリンクビルディングに数か月間かかる数を失いました。クロール予算エンドレスフェースフィルタ、孤立した古いプレスリリース、および薄いアフィリエイトページ。 結果は? 実際に収益を駆動するページはインデックス化されず、単独でランク付けします。
Crawlの予算は、抽象的な音を鳴らすそれらの技術的なSEOのコンセプトの1つです。新しい製品の発売が週または四半期に検索結果に表示されます。 このガイドでは、Googlebotがサイトの限られた時間を燃焼しないように、監査、最適化、および停止する方法を正確に示します。
なぜSEOのためのCrawlバジェットマター
基本から始めましょう。 Googlebotには、各ウェブサイトに費やす時間が限られています。 この「予算」は、2つの要因によって決定されます。
- Crawl レート制限- Googlebotがサーバーにどれだけの同時接続を行うか。
- クロールの要求- 興味深いGoogleがあなたのURLを見つける方法(人気、鮮度、歴史的重要度に基づいて)。
小さなブログでは、これはめったに問題ありません。 しかし、e-コマースストア、ニュースサイト、またはエンタープライズWebプラットフォームでは、悪いクロール予算は、インデックスされていない貴重なURLの数千を残すことができます。 200,000ページを抱える中規模の小売店で働いていますが、Googlebotは1日8,000円しかクローリングできませんでした。 これらのクロールされたURLのほとんどは、フィルタと薄いコンテンツでナビゲーションに直面したカテゴリでした。 季節限定の新コレクションは3ヶ月連続でインデックス化されていない。
Googlebotが低値ページで時間を費やすと、実際に製品ページ、ランディングページ、およびコーナーストーンブログ投稿などのトラフィックを駆動するページが、キューの後ろに押し込まれます。 結果は遅いインデックス化、有機性可視性を低下させ、サーバーリソースを無駄にしました。
Crawl予算最適化の3つの柱
過去10年間、サーバーのパフォーマンス、サイトアーキテクチャ、コンテンツの品質を3つのコア領域に絞った予算の最適化を行いました。 これらのいずれかを無視すると、Googlebotがホイールをスピンして表示されます。
1. サーバー性能
Googlebotは残忍なパフォーマンス監査人です。 サーバがゆっくりと応答したり、エラーを返すと、すぐにクロール速度が低下します。 Google独自のドキュメンテーションにより、サーバーがリクエストを処理できるのを迅速に判断するクロール率が一部決定されます。
サーバの応答時間とエラーレートをベースラインにログファイル解析をスケジューリングすることをお勧めします。 5xx エラー、タイムアウト、TTFB の高い値を探します。 もしスパイクが見つかられば、他のことをする前にそれらを対処してください。 より高速なサーバーは、より高いクロール率を獲得します。これは、あなたの良いページが訪問されることを意味します。
2. サイトアーキテクチャ
内部リンクは、あなたのウェブサイトのルートシステムを供給する水です。 Googlebotは、新しいページを発見し、相対的な重要性を理解するためのリンクを使用しています。 すべての重要なページがホームページから3つのクリックで到達できるフラットなアーキテクチャは、Googlebotが重要な予算を広めるのを容易にします。
また、XMLサイトマップに細心の注意を払っております。 それらは、URLが最も重要なGoogleへの直接信号として機能します。 サイトマップには、正式でインデックス可能なページのみが含まれることを確認してください。 顔の URL でサイトマップを生成している場合は、Googlebot を効果的に伝えて薄いコンテンツのウサギの穴を下します。
3. コンテンツ品質
薄く、重複し、または低値のコンテンツは、予算を抑える最速の方法です。 Googlebotが「製品カテゴリ?color=red」のようなページを発見するたびに&size=large" は、異なるクロールターゲットとして扱います。 以前は、サーバーは、ほぼ同一の URL の 100 個に、増分値がゼロになります。
Google Search Console の使用Crawl ステータスGooglebotが実際に高い優先度でクロールしている数を調べているのはなぜですか? 発見されたページ数がクロールされたページよりもはるかに高い場合は、クロール予算リークがあります。
あなたのクロール予算を監査する方法
Google Search Console の現在の Crawl Stats および robots.txt テスターから検証された監査のウォークスルーは、2026 年9 月 — メニューパスが変更されるため、GSC が異なる場合の名前を確認します。
クロール予算監査を実行するのは、ハンズオンの練習です。ツールは完全に自動化できません。 ここでは、すべてのエンタープライズクライアントで使用できるステップバイステップのプロセスです。
ステップ1:サーバーログファイルを収集する
サーバーのログは、実際にクロールされたGooglebotの唯一の真実のソースです。 少なくとも2週間のログをエクスポート(週刊公開サイクルがあれば長くなります)。 次のようなツールを使うことができますScreaming Frog ログ ファイル Analyzerまたはボティファイそれらを解析する。
ステップ2:Googlebotヒットをセグメント化
ボット以外のトラフィックをフィルタアウトします。 その後、URLパターン、ステータスコード、クロール周波数、および転送バイトによるGooglebotリクエストをセグメント化します。 パターンを探します:
- 低値のセクションで高いクロール周波数:/filter とは? /product/123 が 50 件しか取得しないと 500 件がヒット?
- 4xx と 5xx エラー:デッドページ廃棄物の予算にすべてのクロール。
- リダイレクトチェーン:Googlebot は、最大 5 つのホップをあきらめる前にフォローします。
ステップ3:インデックスカバレッジと比較
Google検索コンソールのインデックスカバレッジレポートでURLをクロールするクロスリファレンス。 cwled-to-indexed URL の高比率を表示したい。 Googlebot が 1 日あたりの 50,000 のページをクロールしているが、10,000 をインデックス化するだけなら、それは非インデックス化可能なコンテンツに費やされる予算の明確な兆候です。
クローリングされたURLの60%がソフト404sを返すか、noindexによって明示的にブロックされたサイトを見たことがある。しかし、Googlebotは最新のテンプレートからの内部リンクのためにそれらをヒットしました。
Crawl予算分析のための主要なツール
Googlebotがサイトを移動する方法にx-rayビジョンを与えるツールは、推測する必要はありません。 ここに私が最も頼るもの、それぞれに直接リンクがあります。
- Screaming Frog ログ ファイル Analyzer– 予算ログファイル分析のために私のgo-to. 周波数、帯域幅の使用量、ステータスコードの配布を最大1,000 URLまで無料で表示できます。
- ボティファイ– 企業力家。 実際のユーザー監視(RUM)とシミュレートされたクロールデータで、サイトアーキテクチャを変更したときに何が起こるかをモデル化できます。
- Lumar(旧DeepCrawl)– パラメータの取り扱いや孤児のページなどのクロールの不在を発見するのに優れています。
- ログイン- 無駄なクロール活動とサーバーの負荷リスクを強調表示するクロール予算レポートを提供します。
- Ahrefs サイト監査- あなたのサイトのパフォーマンスと内部のリンク構造に基づいて、推定クロール予算を与えます。
- サイトマップ–内部リンクの流れを視覚化し、リダイレクト ループのような予算の黒い穴に斑点を付けることのために大きい。
比較表: ログファイル分析ツール
| ツール | 開始価格 | ログファイル解析 | Crawlバジェットレポート | サーバー性能のメートル |
|---|---|---|---|---|
| 絶叫カエル | 無料 / £149 /年 | お問い合わせ | 基本(カスタムレポート) | はい(ログから) |
| ボティファイ | 企業(引用) | お問い合わせ | はい、予算のモデリングと | はい、RUMが含まれています |
| ルマール | 企業(引用) | お問い合わせ | はい、予算の見積もりで | はい(サーバーログ+データ) |
| ログイン | $79/mo | お問い合わせ | はい、専用の予算ダッシュボード | はい(応答時間を含む) |
| アリュフ | €99/mo | いいえ(クローラーのみ) | クロールデータに基づく見積もり | 基本(ステータスコードのみ) |
| サイトマップ | $59/mo | いいえ(クローラーのみ) | はい、内部リンク解析 | 基本(リダイレクトチェーン情報) |
ご覧のとおり、予算のクロールについて真剣に考えている場合は、実際のサーバーログを処理するツールが必要です。 Sitebulb と Ahrefs は、サイト全体の監査に最適ですが、ログが提供する実際のクロールデータを提供していません。
高度な戦略:Crawlバジェット優先順位付け
リークを識別したら、ほとんどのページのGooglebotの注意を指示する時間です。 大規模なウェブサイトで使用する4つの高度な戦術は次のとおりです。
1. 使用メニューサイトマップ
Googlebot は Googlebot を利用しています。<メニュー>XMLサイトマップのタグは鮮度信号として。 各ページを頻繁に更新し、正確にタイムスタンプすると、Googlebotは最近のページを高速化します。 しかし、注意してください。メニュー値(例えば、すべてのURLに今日の日付を置く)は、信頼を消去し、Googleがあなたのサイトマップを無視する可能性があります。
2. 適切な面した運行を取付けて下さい
面したナビゲーションは、電子商取引サイトのドレインクロール予算で最大1つです。 多くのプラットフォームは、数千の役に立たない組み合わせを生成します?color=赤&サイズ=大きい&sort=価格. おすすめの使い方インデックス値が低いため、最も高価なパターンをブロックするrobots.txtお問い合わせ さらに、新しいURLを生成しない JavaScript ベースのフィルタリングに切り替えます。
3. Google検索コンソールでCrawl率を制御する
Google検索コンソールでは、クロールレートの変更をリクエストできます。 より多くのトラフィックを処理することができるサーバーがある場合、より高いレートを求めることができます。 逆に、サーバーがストレスの低い場合、遅くなる可能性があります。 しかし、その効果は一時的です。Googleは最終的に独自のデータに基づいて調整します。 それでも、サイトのマイグレーションやサーバーのアップグレード中に便利なレバーです。
4. オーファンページ排除
Orphanページはサイト内のどこからでもリンクされていないため、Googlebotはサイトマップや外部リンクに依存してそれらを発見する必要があります。 しかし、過去のキャンペーンからGoogleのインデックスにまだ表示されるので、孤児のページが繰り返し這うケースを見てきました。 ページ上のすべてのクロールは、誰のリンクも頭上です。 それらを関連する両親にリダイレクトするか、それらを完全に削除するかのいずれか。
一般的なクロール予算の間違い 私は毎日見る
何百ものサイトを監査した後、同じエラーを監視します。 以下をご覧ください。
- robots.txt ですべてをブロックする:一部のチームは、セクションを攻撃的にブロックし、誤ってインデックスが必要なページをブロックします。 robots.txt は、非必須ディレクトリのみに使用します。
/assets/または/admin/). - 柔らかい404sを無視する:Googlebot は、ソフト 404 として 200 ステータスを返す「ページが見つからない」メッセージを扱う。 予算を浪費し、それを維持します。 常に実際の404または410を返す。
- サイトマップの最適化:すべての URL を含む(Noindex も)、あなたのサイトマップをブラートし、Google を混乱させます。 サイトマップ
- リダイレクトチェーンの忘れ:リダイレクトはリクエストを追加します。 時間の経過とともに、複数のホップは重要な予算を消費することができます。
Crawl予算の最適化に関するFAQ
Googlebotがサイトをクロールする頻度は?
サイトの人気、更新頻度、サーバのパフォーマンスによって異なります。 静的な料理ブログは週単位または月単位でクロールされることがありますが、高トラフィックのニュースサイトは毎日クロールされる可能性があります。 下のGoogle検索コンソールでクロール周波数を見ることができますCrawl ステータス.
予算が小さいサイトに影響しますか?
普通ではありません。 ほとんどの小さなサイトでは、数千 URL 未満が少ないため、Googlebot は通常、時間内にフルロードを処理することができます。 しかし、サーバーの問題や薄手のコンテンツが予算を圧倒している小さなサイトを持っている場合、それはまだインデックス化に影響を与えることができます。
予算を増やすことはできますか?
間接的に、はい。 サーバの速度を向上し、リンクを引き付ける高品質のコンテンツを生成し、きれいなサイトアーキテクチャを維持します。 あなたのサイトがより多くの注意に値するGoogleへのこれらの信号. また、検索コンソールで一時的なクロール率の増加を要求することもできますが、サーバーがペースを維持できない場合に効果が消えます。
良いクロール率は何ですか?
ユニバーサル番号はありません。 全体のインデックス可能な URL カウントにクロール率を比較します。 1日5万ページとGooglebotが1日5,000ページをクロールしている場合、毎日更新しないサイトでは、毎日10%のデイリーカバレッジです。 5,000円を落とすが、1,000円が重要なのは問題です。
変更後にGooglebotをrecrawlにどのくらいの時間がかかりますか?
構造的な変更(薄いページを削除したり、リダイレクトをクリーンアップしたりするなど)を行うと、通常、Googlebotは1〜4週間の間、そのクロールパターンの変化を反映します。 新しいサイトマップを提出するか、URL 検査ツールの「Request Indexing」を使用して物事をスピードアップすることができます。
今日のあなたのクロール予算を無駄に停止
Crawl予算の最適化は一回限りの修正ではありません。 Googlebotがあなたのサイトに触れるたびに支払いが進行中の規準です。 サーバのパフォーマンス、サイトアーキテクチャ、コンテンツの品質を整列すると、クリアな信号を送信します。
インデックスしたページを3か月以内に3回、内部リンクをクリーンアップし、クロールパスから低値のURLを削除することで見た。 つまり、より有機的なトラフィック、新しいコンテンツのインデックス化を高速化し、起動するサーバー負荷が低いことを意味します。
どこから始めるかわからない場合、またはすべてのことを試してみたところ、間違ったページでGooglebotの浪費時間が見られます。DG10エージェンシーにご連絡ください。. 私達の企業の技術的なSEOのチーム予算の最適化、ログファイル分析、サイトアーキテクチャの計画を専門としています。 すべてのクロールのカウントを確実にするのに役立ちます。
予算が悪い場合は、サイトの潜在的な状況を把握しないでください。 修正しましょう。
読み続ける
このガイドが助けたなら、その背後にあるシステムに深くなります。