ログファイル分析: Googlebotがあなたのサイトをクロールする方法を正確に見る
Google Search Consoleの「Crawl Stats」のレポートで見つめていたら、ストーリーの半分を見逃していたような感じがしました。 そのレポートはあなたを教えてくれます何とかサーバに作った Googlebot をリクエストしますが、特定の URL がクロールされたか、頻度、または HTTP ステータスコードが返されたかはわかりません。 そこは、ログファイル解析お問い合わせ
私は10年以上にわたり技術的なSEOをやってきましたが、サーバーログファイルはGooglebotクロール動作に関する真実の1つの最も豊富なソースです。 サーバが受信した実際のリクエストを2つ目まで表示します。 Screaming Frog のようなツールで自分のサイトをクロールするだけは、お問い合わせ這い - ログファイルは何を伝えますあった実際にクロール。
このガイドでは、ログファイル分析が何であるかを正確に歩きます。Googlebotのクロール動作を理解するために重要なのは、正しいツールでそれを実行する方法、そして洞察力で何をすべきかです。 最後に、予算の廃棄物のクロールを診断し、インデックスの問題を特定し、最も重要なページに焦点を当てたGooglebotを維持する方法を知っています。
なぜGooglebot Crawl Behavior用のログファイル分析マーカー
Googlebotがサイトにアクセスするたびに、サーバーログにフットプリントが残されます。 これらのログには、URL、タイムスタンプ、ユーザーエージェント(GooglebotとBingbotと実際のユーザー)、HTTPステータスコード、転送バイト、および時々参照データが含まれます。 これらのログを分析することで、以下のような質問に答えることができます。
- Googlebotが最も頻繁に這うページは?
- Googlebotは、薄いコンテンツ、ペジネーションループ、または無限スクロールページで時間を浪費していますか?
- Googlebotがヒットし続ける404sまたは500sを返すページはありますか?
- Googlebotが更新されたコンテンツを再訪する頻度は?
- 大規模なサイト(100k+ページ)に予算の問題がないか?
ログファイル解析決定的な回答を得る唯一の方法です。 SEOではなく、特に企業サイトにとって、コア技術SEOの練習です。 数百万ページでサイトを監査すると、オンページの最適化前にログから常に起動します。
Googlebot Crawl Behavior対Crawl予算
「予算を失う」という一般的な誤解は、Googleがあなたに与えるものです。 実際、サーバーがGooglebotにどのように反応するかの結果です。 サーバが速く、200 OK を一貫して返せば、Googlebot はより頻繁に戻ります。 遅いページがある場合、チェーンをリダイレクトしたり、エラーが発生した場合は、Googlebotは遅くなり、クロールを停止します。
ダイビングでログファイル解析、予算が費やされている場所を正確に見ることができます。 例えば、Googlebot が 1 日あたりの 80,000 の URL をクロールしていた e コマース クライアントと働いたが、301 リダイレクトを返す製品ページが 40% を上回っていた。 リソースを無駄にしました。 リダイレクトをクリーンアップし、Robots.txtディレクティブを追加した後、半数でクロール廃棄物をカットし、オーガニックトラフィックが3週間以内に25%増加しました。
ログファイル分析を実行する方法:ツールとステップ
ログファイルにアクセスするためのシステム管理者である必要はありません。 ほとんどのWebホストは、cPanel、FTP、または直接ダウンロードを介してアクセスを提供します。 大規模なサイトでは、Apache Combined、Nginx、AWS CloudFrontなどの一般的なフォーマットで生ログを取得するために、DevOpsチームと連携する必要があります。
ステップ1:ログを収集する
標準的なアプローチは、サーバーログの7〜14日以上ダウンロードすることです。 正確なGooglebotのクロール動作については、フル月をお勧めします。 ログにユーザエージェントの文字列が含まれているので、Googlebot(Mozilla/5.0 互換、Googlebot/2.1、+http://www.google.com/bot.html) をフィルタリングできます。
ステップ2:専用のログファイルアナライザーを使用する
Pythonや grep でログを解析できますが、特殊なツールは膨大な時間を節約できます。 私のトップピックは次のとおりです。
- Screaming Frog ログ ファイル Analyser- 最大1,000行まで無料。有料版は数百万件を扱います。 分析と視覚化に最適です。
- ボティファイ- リアルタイムログ処理、予算レポートのクロール、Google Analyticsとの統合を備えたエンタープライズプラットフォーム。
- Lumar(旧DeepCrawl)- ログファイルインポートと詳細なクロール健康ダッシュボードを備えた別のエンタープライズツール。
ステップ3:Googlebotのみのフィルタ
ツールは自動的にGooglebotユーザーエージェントを識別します。 他のすべてのボット(Bing、Yandex、Facebook)を削除して、Googlebotのクロール動作に焦点を当てます。
ステップ4:キーメトリックの分析
見て下さい:
- ステータスコードの配布- Googlebotの200、301、404、500の%。
- URLによるCrawlの頻度– どのページも最も頻繁にヒットします。
- クロール深さ- Googlebotがどれだけのレベルが深まるか?
- クロールタイムスタンプ– ピーククロール時間, 時々、リクロールの経年を示す.
昨年監査した実際の中東ECサイトのサンプルは次のとおりです。
| メトリック | 最適化の前に | 最適化後 |
|---|---|---|
| 一日あたりのGooglebotリクエストの合計 | 12,000 | 8,500 |
| 返還リクエストの% 200 | 60% | 80% |
| 非公式URLへのリクエストの% | 25% | 5% |
| Crawlの予算は(%)を浪費しました | 40% | 15% |
弊社では、商品ページ数が5万ページで、クライアントから来ています。 ログファイル解析後、GooglebotはフィルタのパーマテーションとセッションベースのURLをクロールしていたことを識別しました。 これらをRobots.txtでブロックし、canonicalページへのリンクを改善しました。 結果:より有機的なトラフィックとより速いインデックス。
ログファイル分析による共通インサイト
データを保有すると、実際の作業が始まります。 ここは、私は再び見るパターンです。
1. 薄くか重複する内容のクロール
Googlebot がオーガニックな値を持たないページをヒットした場合、ファセット、ペジネーションアーカイブ、プリンターフレンドリーなバージョン、予算を削減しています。 使用条件ログファイル解析これらの URL を識別し、追加するインデックスまたはログインディレクティブ
2. エラーページはまだクロールされる
古いページを削除しても、Googlebotは引き続きインデックスから削除されるまで404sをクロールすることができます。 ログは、URL が 404s を返し、どのくらいの頻度で表示されます。 404が毎日ヒットすると、301リダイレクトを関連するページに設定するか、カスタム404ハンドリングを実行します。
3. Crawlの頻度分離
頻繁に更新するページ(ニュース記事や製品価格など)は、もっと頻繁にクロールする必要があります。 あなたの最も重要なコンテンツは、古いブログ投稿が毎日の訪問を取得している間、月に1回しかクロールされていない場合、それは赤いフラグです。 ログファイルは、これらの不均衡を明らかにします。
4. GSCのクロール率設定の影響
Google Search Console では、クロールレート制限を設定できますが、空白の機器です。 ログファイルは、これらの設定のリアルタイム効果を表示し、新鮮なコンテンツのインデックス化を高速化するために必要なかどうかを表示します。
5. ボット・ミミックリーの検出
時々 悪意のあるボットは、Googlebot であることにふさわしい。 リバースDNS認証によるサーバーログは、インポストラクターを特定できます。 Googlebot リクエストは、常に googlebot.com のホスト名から来ています。 偽のユーザーエージェントがリソースを消費している場合は、ファイアウォールでブロックします。
ログファイル分析ツールの比較
適切なツールを選択するには、ハンズオン体験に基づいて比較表は次のとおりです。
| ツール | 料金について | 主な特長 | 最高ののための |
|---|---|---|---|
| [Frog Log File Analyser](https://www.screamingfrog.co.uk/log-file-analyser/) | 無料(限定)/有料 £149/年 | リアルタイムログのインポート、ユーザーエージェントのフィルタリング、応答コードの故障、エクスポート可能なレポート | 個人・中小規模のサイト |
| [Botify](https://www.botify.com) | 企業カスタム価格設定 | 継続的なログストリーミング、予算ダッシュボード、収益アトリビューション、API | 大規模な電子商取引および企業 |
| [ルマー (DeepCrawl)](https://www.lumar.io) | 企業カスタム価格設定 | ログファイルアップロード、クロールパス解析、GSCとGAとの統合 | スケールで社内のSEOチーム |
| カスタムスクリプト(Python/AWK) | 無料 | 完全な制御、拡張可能 | 時間と予算の開発者 |
私は4つすべてを使いました。 ほとんどの代理店や社内チームにとって、Frog Log File Analyser を叫ぶのは最高の価値です。 大規模なサイト(1M+ページ)では、Botifyの自動処理は打ち勝つのは難しい。
Crawl Dataの使い方
アクションなしでデータを収集することは役に立ちません。 あなたの後に何をすべきかを正確に示しますログファイル解析:
Fix リダイレクトチェーンと壊れたリンク
Googlebotが404sにつながる301sに当たると、リダイレクトチェーンを更新します。 ログファイルデータを使用して、最もクロールされた URL のリストをコンパイルし、適切な 301 を関連ページに実装します。
Robots.txtでCrawlの予算を最適化
すべての非必須セクションをブロックします。:管理者、ファセットパラメータ、セッションID、コメントページ。 利用するクロール・ディレイ必要な場合だけディレクティブ。ほとんどのサイトは必要ありません。
キーページの内部リンクを改善
ログが高価なページ(あなたのトップセラー製品のような)がまれにクロールされていることを示す場合、高まるページ(ホームページやカテゴリページなど)からより多くの内部リンクを追加します。 これは、Googlebotに重要な信号です。
スピードアップサーバー応答時間
サーバ応答時間が200msを超えるとGooglebotはクロール率を削減します。 ログを使用して、スローエンドポイントを特定し、最適化します。 繰り返し URL の CDN やキャッシュを検討してください。
重要なページを GSC 経由で送信する
即時のインデックスが必要なニュース記事や新製品のリリースがある場合は、Googlebotがすでにログをチェックしてページをヒットしているかどうかを識別します。 もしそうでなければ、URL の検査ツールを使用してインデックスリクエストをリクエストします。
クロールデータからランキングまで
これをチェックする方法(2026):9月2026日のクライアントプロパティでログファイルチェックを再実行する; ツール名と無料のティア制限は、その日付として確認できるものを反映しています。
Crawl データは、何が起こったのかを教えてくれます。 これらのガイドはそれを修正に変えます:
- ウェブサイトSEOアナライザウォークスルー— ログ検索に関する完全な監査ワークフロー
- Next.js SEO: SSR対ISR対SSG— レンダリングの問題は、通常表面をログに固定する
- AEO対SEO— ページをクロールしてAIの引用も獲得
よくある質問
1. ログファイル解析はサイトをクロールするのと同じですか?
いいえ。 サイトをクローリング (Screaming Frog または類似) ボットをシミュレートするお問い合わせログイン ログファイル分析では、Googlebotが何を表示するのか実際にログイン お互いを補完する。
2. 共有ホスティングからログファイルを取得できますか?
はい、ほとんどの共有ホストはcPanel(通常「メトリック」セクション)を介して生のアクセスログを提供します。 もしそうでない場合は、サポートをしてください。
3. どのくらいのログデータを分析する必要がありますか?
少なくとも7日間; 14〜30日は、毎週のパターンをキャッチするためのより良いです。 それはあなたの焦点である場合を除き、休日のトラフィックのようにピークを避けます。
4。 ログファイルにはJavaScriptクロールデータが含まれていますか?
アクセスログは、JS レンダリングされたコンテンツの XHR/fetch 呼び出しを含む、すべての HTTP リクエストをキャプチャします。 ただし、Googlebotではなくブラウザから来ることが多い。 ユーザーのエージェントを慎重にフィルタリングする必要があります。
5。 GooglebotのIP範囲が変化する場合はどうなりますか?
Google は IP 範囲を公開します。Googlebotのよくある質問お問い合わせ ほとんどのログアナライザは、そのリストに対してIPを自動的に検証します。
最終的な思考&次のステップ
ログファイル解析Googleの目線で見ることが出来るのは最も近いです。 どのページがクロールされているかを正確に伝えます, どのくらいの頻度, Googlebotが低値のURLのループに立ち往生しているかどうか. 組み合わせてGooglebot のクロール動作検索コンソールからのデータ, あなたは、予算をクロールを保存し、インデックスの効率を高める精密な技術的なSEO戦略を構築することができます.
DG10エージェンシーでは、各企業監査においてログファイル解析を行っています。 それはオプションではありません。それは基本です。 インデックスの問題に苦労している場合, 神秘的なトラフィックが低下します, または完全にインデックス化されていない大きなサイト, ログを見てみる時間です.
Googlebotがサイトをクロールする方法を正確に見る準備はできましたか?DG10の代理店に連絡して下さい詳細なログファイル分析と実用的なクロール最適化を含む技術的なSEO監査用。 サーバーログをロードマップに変えて、より優れた有機性能を実現します。
この記事は、DG10エージェンシーのテクニカルSEOチームによって書かれました。 すべてのデータとケーススタディは、真のクライアントプロジェクトから、機密性のために匿名化されます。 技術的な SEO の基礎の詳細については、こちらをご覧ください企業技術的なSEOへの柱ガイド.