로그 파일 분석 : Exactly How Googlebot Crawls Your Site
Google Search Console의 “Crawl Stats” 보고서에 출연한 적이 있다면, 절반의 이야기를 누락한 것처럼 느꼈습니다. 그 보고서는 당신에게 알려줍니다.몇 가지서버로 만든 Googlebot을 요청하지만 특정 URL이 크롤링되었는지 알려지지 않거나 종종 HTTP 상태 코드가 반환된지 알려지지 않았습니다. 그것은 어디로그 파일 분석에 있다.
수십 년 동안 기술 SEO를하고 있으며, Hesitation없이 말할 수 있습니다. 서버 로그 파일은 Googlebot 크롤러 행동에 대한 진실의 단일 풍부한 소스입니다. 서버가 수신된 실제 요청을 보여줍니다. Screaming Frog와 같은 도구를 사용하여 자신의 사이트를 크롤링 만 알려줍니다.수 있습니다.crawled-log 파일이 무엇인지 말해줍니다.·실제로 crawled.
이 가이드에서 로그 파일 분석이 무엇인지 정확히 파악할 수 있습니다. Googlebot crawl 행동을 이해하는 것이 중요하므로 올바른 도구와 어떻게 수행 할 수 있으며 통찰력과 함께 할 수 있습니다. 결국, 당신은 크롤 예산 폐기물을 진단하는 방법을 알고, 인덱스 문제를 식별, 그리고 당신의 가장 중요한 페이지에 초점을 맞추고.
왜 Googlebot Crawl Behavior에 대한 파일 분석 Matters
때마다 Googlebot은 사이트 방문, 서버 로그의 발자국을 떠난다. 이러한 로그에는 URL, 타임스탬프, 사용자 에이전트 (Googlebot vs. Bingbot vs. 실제 사용자), HTTP 상태 코드, 바이트 전송, 때로는 참조 데이터. 이 로그를 분석하면 다음과 같은 질문을 대답 할 수 있습니다.
- 어떤 페이지는 Googlebot이 가장 자주 사용합니까?
- Googlebot은 얇은 내용, 질 루프 또는 무한 스크롤 페이지에서 시간을 낭비합니까?
- Googlebot이 타격을 줄 수 있도록 404s 또는 500s의 반환 페이지가 있습니까?
- 자주 Googlebot revisit은 내용을 업데이트합니까?
- 큰 사이트에서 크롤 예산 문제가 있습니까 (100k + 페이지)?
로그 파일 분석확실한 답변을 얻는 유일한 방법입니다. 그것은 SEO가 아닙니다 “nice to have”—그것은 핵심 기술 SEO 연습, 특히 기업 사이트에 대한. 수천 페이지의 사이트를 감사 할 때, 나는 항상 모든 페이지 최적화 전에 로그를 시작.
Googlebot Crawl Behavior vs. 크롤 예산
"크롤 예산"이 Google이 제공하는 일반적인 잘못이 있습니다. 실제로 서버가 Googlebot에 어떻게 반응했는지의 결과입니다. 서버가 빠른 경우 200 OK를 지속적으로 반환하면 Googlebot이 더 자주 돌아올 것입니다. 페이지가 느리면 체인을 리디렉션하거나 오류가 발생하면 Googlebot이 떨어질 것입니다.
다이빙으로로그 파일 분석, 당신은 crawl 예산이 소요되는 정확히 볼 수 있습니다. 예를 들어, Googlebot이 하루에 80,000 개의 URL을 크롤링하는 전자 상거래 클라이언트와 함께 일했습니다. 그러나 그 중 40%는 301 리디렉션을 반환하는 제품 페이지였습니다. 그것은 자원이었다. 리디렉션을 청소하고 robots.txt 지침을 추가 한 후 반으로 크롤 폐기물을 절단하고 3 주 이내에 25 %의 유기 트래픽 증가를 보았습니다.
Log File Analysis 수행 방법 : 도구 및 단계
시스템 관리자가 로그 파일에 액세스 할 필요가 없습니다. 대부분의 웹 호스트는 cPanel, FTP, 또는 직접 다운로드를 통해 액세스를 제공합니다. 큰 사이트를 위해 DevOps 팀과 협력하여 Apache 결합, Nginx 또는 AWS CloudFront와 같은 일반적인 형식의 Raw 로그를 얻을 수 있습니다.
단계 1: 당신의 통나무
표준 접근은 서버 로그의 적어도 7-14 일 다운로드하는 것입니다. 정확한 Googlebot 크롤러 행동을 위해, 나는 전체 달을 추천합니다. 로그는 사용자 에이전트 문자열을 포함 하 여 Googlebot (Mozilla/5.0 호환; Googlebot/2.1; +http://www.google.com/bot.html)에 대 한 필터 수 있습니다.
Step 2: 전용 로그 파일 분석기 사용
Python 또는 grep으로 로그를 파싱 할 수 있지만, 전문 도구는 엄청난 시간을 절약 할 수 있습니다. 내 최고 선택은 다음과 같습니다.
- Screaming Frog 로그 파일 Analyser– 최대 1,000개의 라인 무료; 유료 버전은 수백만을 취급합니다. 분석 및 시각화에 완벽한.
- 봇– 실시간 로그 처리, 크롤링 예산 보고서 및 Google Analytics와의 통합으로 엔터프라이즈 플랫폼.
- Lumar (이전 DeepCrawl)– 로그 파일 가져 오기 및 상세한 크롤러 건강 대시보드를 가진 또 다른 기업 도구.
3 단계 : Googlebot 전용 필터
이 도구는 자동으로 Googlebot 사용자 에이전트를 식별합니다. Googlebot 크롤러 행동에 초점을 맞추기 위해 다른 봇 (Bing, Yandex, Facebook)을 제거하십시오.
단계 4: Analyze 열쇠 미터
다음 것:
- 상태 코드 배포– 200, 301, 404, Googlebot의 500 %.
- URL로 크롤 주파수– 어떤 페이지가 가장 자주 타격.
- 크롤 깊이– Googlebot이 얼마나 심하게합니까?
- 크롤 타임스탬프– 피크 크롤 시간, 때로는 recrawl cadence를 나타냅니다.
여기에 내가 작년 감사 진짜 중동 전자 상거래 사이트에서 샘플입니다 :
| 제품정보 | Optimization 전 | 최적화 후 |
|---|---|---|
| 일 당 총 Googlebot 요구 | 12,000 | 8,500 |
| %의 요청 반환 200 | 60% | 80% |
| 비문 URL에 대한 요청의 % | 25% | 5% |
| 크롤 예산 낭비 (%) | 40% | 15% |
그 숫자는 50,000개의 제품 페이지를 가진 클라이언트에서 옵니다. 로그 파일 분석 후 Googlebot이 크롤링 필터 투과 및 세션 기반 URL을 확인했습니다. 우리는 robots.txt에서 그들을 차단하고 canonical 페이지에 내부 링크 개선. 결과: 더 많은 유기 교통 및 더 빠른 색인.
Log File Analysis의 일반적인 통찰력
데이터가 있으면 실제 작업이 시작됩니다. 여기에 나는 다시보고있다 :
1. Thin 또는 Duplicate 내용의 크롤
Googlebot이 유기 값이 없는 페이지를 타격하는 경우, 질화 된 아카이브, 프린터 친화적 인 버전 - 당신은 크롤 예산 낭비. 제품 정보로그 파일 분석이러한 URL을 식별하고 추가이름 *또는뚱 베어이름 *
2. 오류 페이지는 여전히 크롤러
오래된 페이지를 삭제 한 후, Googlebot은 인덱스에서 제거 될 때까지 404s를 크롤러로 계속 할 수 있습니다. 로그는 URL이 404과 얼마나 자주 반환되는지 보여줍니다. 404가 매일 타격을 입을 경우, 관련 페이지로 리디렉션을 설정하거나 사용자 정의 404 취급을 구현하십시오.
3. 크롤 빈도 Disparities
자주 업데이트되는 페이지 (뉴스 기사 또는 제품 가격과 같은)는 더 자주 크롤링해야합니다. 가장 중요한 내용이 한 달에 한 번만 크롤링하는 경우 오래된 블로그 게시물은 매일 방문을 얻고, 빨간색 깃발입니다. 로그 파일이 불균형을 밝혀줍니다.
4. GSC에 있는 크롤 비율 조정의 충격
Google Search Console은 크롤링 속도 제한을 설정하지만 blunt 기기입니다. Log 파일은 그 설정의 실시간 효과를 보여줍니다, 당신은 신선한 콘텐츠의 빠른 색인에 대한 제한을 증가 할 필요가 여부.
5. Bot Mimicry의 탐지
때때로 악의적인 봇은 Googlebot이 될 것입니다. 역 DNS 검증을 가진 서버 로그는 부스터를 식별할 수 있습니다. Legitimate Googlebot 요청은 항상 googlebot.com 호스트 이름에서 온다. 가짜 사용자 에이전트 consuming 리소스를 볼 경우 방화벽에서 차단하십시오.
Comparing Log 파일 분석 도구
올바른 도구를 선택하는 데 도움이하려면, 내 손으로 경험에 따라 비교 테이블입니다.
| 제품 정보 | 제품정보 | 핵심 특징 | 제품 정보 |
|---|---|---|---|
| [Screaming Frog 로그 파일 분석기](https://www.screamingfrog.co.uk/log-file-analyser/) | 무료 (제한) / 유료 £ 149 / 년 | 실시간 로그 가져오기, 사용자 에이전트 필터링, 응답 코드 고장, 수출 보고서 | 개인 및 중소기업 |
| [Botify](https://www.botify.com) | Enterprise 사용자 정의 가격 | 연속 로그 스트리밍, 크롤링 예산 대쉬보드, 수익 attribution, API | 큰 전자 상거래 및 기업 |
| [루마르 (DeepCrawl)](https://www.lumar.io) | Enterprise 사용자 정의 가격 | 파일 업로드, 크롤링 경로 분석, GSC 및 GA와의 통합 | In-house SEO 팀 규모 |
| 사용자 정의 스크립트 (Python/AWK) | 무료 다운로드 | 풀 컨트롤, 확장 가능 | 시간과 예산을 가진 개발자 |
나는 모든 4을 사용했습니다. 대부분의 대행사 및 사내 팀의 경우, Screaming Frog Log File Analyser는 최고의 가치입니다. 대규모 사이트 (1M+ 페이지)의 경우, Botify의 자동화 처리가 이길 수 없습니다.
Crawl Data에 대한 행동 방법
수집 데이터는 동작 없이 쓸모가 없습니다. 여기 당신의 후 수행해야 할 일로그 파일 분석:
Redirect Chains 및 Broken 링크 수정
Googlebot이 404s로 이어지는 301s를 타격하면 리디렉션 체인을 업데이트합니다. 로그 파일 데이터를 사용하여 대부분의 크롤러 깨진 URL 목록을 컴파일하고 적절한 301s를 관련 페이지에 구현합니다.
Robots.txt로 Crawl 예산 최적화
모든 비 필수 섹션을 차단: 관리자, facet 매개 변수, 세션 ID, 댓글 페이지. 사용 방법크롤 레이필요한 경우만 지시어는 필요하지 않습니다.
Key Pages에서 내부 연결 개선
로그가 높 가치 페이지를 표시하는 경우 (당신의 최고 판매 제품과 같은)는 드물게 크롤링되어, 더 많은 내부 링크에서 높은 크롤링 페이지 (홈페이지 또는 카테고리 페이지와 같은). Googlebot의 이 신호 중요성.
서버 응답 시간을 가속화하십시오
Googlebot은 서버 응답 시간이 200 ms를 초과 할 때 크롤러 속도를 감소시킵니다. 슬로우 엔드포인트를 식별하고 최적화합니다. 반복된 URL을 위한 CDN 또는 캐싱을 고려하십시오.
GSC를 통한 중요한 페이지 제출
Googlebot이 이미 로그를 검사하여 페이지를 명중했는지 확인하는 뉴스 기사 또는 새로운 제품 출시가 있다면. 그렇지 않은 경우 URL 검사 도구를 사용하여 인덱스를 요청합니다.
Crawl Data에서 랭킹
우리가 이것을 확인하는 방법 (9월 2026): 우리는 9월 2026에 클라이언트 속성에 로그 파일 체크를 다시 시작; 도구 이름과 무료 계층 제한 우리가 그 날짜로 확인 할 수 있는지 반영.
Crawl 데이터가 무슨 일이 있었는지 알려줍니다. 이 가이드는 수정으로 켭니다:
- 웹 사이트 SEO 분석기 walkthrough— 전체 감사 워크플로우를 찾는다
- Next.js SEO: SSG 대 ISR 대— 렌더링 문제 로그를 보통 표면 수정
- AEO vs SEO— crawled 페이지를 적립 AI 인용 너무
자주 묻는 질문
1. 로그 파일 분석 사이트 크롤링과 동일합니까?
이름 * 사이트에 크롤링 (Screaming Frog 또는 이와 유사한) 봇을 시뮬레이션수 있습니다.크롤. 로그 파일 분석은 Googlebot을 보여줍니다현재 위치크롤링. 두 가지는 서로 보완합니다.
2. 공유 호스팅에서 로그 파일을 얻을 수 있습니까?
예, 대부분의 공유 호스트는 cPanel (보통적으로 "Metrics"섹션)을 통해 raw access logs를 제공합니다. 그렇지 않다면, 지원이 가능하도록 요청하십시오.
3. 얼마나 많은 로그 데이터를 분석해야합니까?
적어도 7 일; 14-30 일은 주간 본을 붙잡기를 위해 더 낫습니다. 당신의 초점이 아닌 휴가 트래픽과 같은 피크를 피하십시오.
4. 로그 파일은 JavaScript 크롤러 데이터를 포함합니까?
액세스 로그는 JS 렌더링 콘텐츠에 대한 XHR/fetch 통화를 포함하여 모든 HTTP 요청을 캡처합니다. 그러나 Googlebot이 아닌 브라우저에서 종종 왔습니다. 사용자 에이전트가 신중하게 필터해야합니다.
5. Googlebot의 IP 범위가 변경되는 경우?
Google은 IP 범위를 게시합니다.구글봇 FAQ· 대부분의 로그 분석기는 해당 목록에 대한 IP를 자동으로 확인합니다.
최종 사고&다음 단계
로그 파일 분석가장 가까운 것은 Google의 눈을 통해 볼 수 있습니다. 그것은 당신이 정확히 어떤 페이지가 크롤링되고있는, 어떻게 자주, 그리고 구글봇은 낮은 가치 URL의 루프에 붙어 있는지. 결합과Googlebot 크롤러 행동Search Console의 데이터는 크롤러 예산을 절약하고 인덱스 효율성을 높일 수있는 정확한 기술 SEO 전략을 구축 할 수 있습니다.
DG10 대행사에서 우리는 모든 기업 감사의 로그 파일 분석을 사용합니다. 그것은 옵션이 아닙니다. 그것은 기초입니다. 인덱스 문제, 신비한 교통 방울, 또는 완전히 색인을 얻을 수없는 큰 사이트로 어려움을 겪는 경우 로그를 볼 때입니다.
Googlebot이 사이트의 사이트를 어떻게 크롤링하는지 정확히 볼 수 있습니까?연락처 DG10 대리점심층적 로그 파일 분석 및 행동 가능한 크롤러 최적화를 포함하는 기술 SEO 감사. 서버 로그를 더 나은 유기 성능을 위해 로드맵으로 전환합니다.
이 문서는 DG10 Agency의 기술 SEO 팀에 의해 작성되었습니다. 모든 데이터 및 사례 연구는 실제 클라이언트 프로젝트에서 기밀성에 익명화됩니다. 기술적인 SEO 기초에 더 많은 것을 위해, 우리의 읽으십시오기업 기술 SEO에 기둥 가이드.