크롤 예산 최적화 : 리소스를 낭비하는에서 Googlebot을 중지
사이트가 콘텐츠, 재설계 및 링크 구축에 몇 달을 붓는 방법을 잃었습니다. Googlebot이 귀중한 폐기물을 볼뿐만 아니라crawl 예산endless faceted 필터, orphaned old press releases, 그리고 얇은 제휴 페이지. 결과? 실제로 수익을 구동하는 페이지는 색인을 얻지 못했습니다. 혼자 순위를 매겼습니다.
Crawl 예산은 추상적 인 소리를 듣는 그 기술적인 SEO 개념 중 하나입니다. 새로운 제품 출시의 차이점은 일주일 또는 분기에 검색 결과에 나타났습니다. 이 가이드에서, 난 당신이 정확하게 감사, 낙관, 및 귀하의 사이트에 제한된 시간을 점화에서 Googlebot을 중지 할 것입니다.
왜 Crawl Budget Matters SEO
기본으로 시작합시다. Googlebot은 각 웹 사이트에 지출 할 수있는 무제한의 시간을 가지고 있습니다. 이 "크롤 예산"은 두 가지 요인에 의해 결정됩니다.
- 크롤 속도 제한– 몇 가지 동시 연결 Googlebot은 서버로 만들 것입니다.
- Crawl 수요- 재미있는 Google은 URL을 찾는 방법 ( 인기, 신선도 및 역사적인 중요성에 따라).
작은 블로그의 경우,이 희소한 문제. 그러나 전자 상거래 상점, 뉴스 사이트 또는 기업 웹 플랫폼의 경우, 가난한 크롤러 예산은 수천 개의 귀중한 URL을 비롯 할 수 있습니다. 200,000개의 제품 페이지가 있는 중형 소매업체와 함께 일했지만, Googlebot은 하루에 8,000개의 크롤링을 하였습니다. 이러한 크롤러 URL의 대부분은 범주 필터와 얇은 콘텐츠와 얼굴 네비게이션. 새로운 시즌 컬렉션은 3 개월 동안 완전히 색인되지 않았습니다.
Googlebot이 낮은 값 페이지에 시간을 소비 할 때, 실제로 제품 페이지와 같은 트래픽을 구동하는 페이지, 랜딩 페이지 및 코너스톤 블로그 게시물 - 큐의 뒷면에 밀어. 결과는 더 느리게 색인을 붙이고, 유기 시정을 낮추고, 서버 리소스를 낭비했습니다.
크롤 예산 최적화의 3 기둥
지난 수십 년 동안, 나는 3 개의 핵심 영역으로 낙관 된 크롤러 예산 최적화 : 서버 성능, 사이트 아키텍처 및 콘텐츠 품질. 이 중 하나를 무시하면 Googlebot이 바퀴를 회전 할 수 있습니다.
1. 서버 성능
Googlebot은 잔인한 성능 감사입니다. 서버가 천천히 반응하거나 오류를 반환하면 즉시 크롤러 속도를 낮출 수 있습니다. Google의 자체 문서에 따르면, 크롤링 속도는 서버가 요청을 처리 할 수있는 방법에 의해 일부 결정됩니다.
서버의 응답 시간 및 오류 비율을 기본으로 로그 파일 분석을 스케줄링하는 것이 좋습니다. 5xx 오류, 타임 아웃 및 높은 TTFB 값을 찾습니다. 당신이 스파이크를 볼 경우, 다른 것을하기 전에 주소를. 더 빠른 서버는 더 높은 크롤링 속도를 적립, 이는 당신의 좋은 페이지의 더 많은 것을 방문.
2. 사이트 아키텍처
내부 연결은 웹 사이트의 루트 시스템을 공급하는 물입니다. Googlebot은 새로운 페이지를 발견하고 상대적 중요성을 이해하는 링크를 사용합니다. 모든 중요한 페이지가 홈페이지에서 3 번의 클릭 내에서 도달 할 수있는 평면 아키텍처는 Googlebot이 예산을 확산하기 위해 쉽게 만듭니다.
XML 사이트 맵에주의를 기울입니다. URL이 가장 중요합니다. Google에 직접 신호 역할을 합니다. 사이트 맵을 확인하려면 canonical, indexable 페이지를 포함하십시오. 당신은 얼굴 URL을 가진 사이트 맵을 생성하는 경우, 당신은 효과적으로 얇은 내용의 토끼 구멍을 내려가는 구글 봇을 알려.
3. 내용 질
Thin, duplicate, 또는 low-value 콘텐츠는 가장 빠른 방법입니다. 때마다 Googlebot은 "product-category?color=red"와 같은 페이지를 발견했습니다.&size=large” 그것은 명백한 크롤러 표적으로 그것을 대우합니다. 긴 전에 서버는 0 incremental 값과 가까운 ID URL의 수백을 제공합니다.
Google 검색 콘솔 사용크롤 통계Googlebot이 얼마나 많은 페이지를 볼 수 있는지보고는 실제로 높은 우선 순위로 크롤링하는 방법을 발견했습니다. 발견 된 페이지의 수는 크롤링 된 페이지보다 훨씬 높으면 크롤링 예산 누출이 있습니다.
당신의 크롤 예산을 감사하는 방법
Google Search Console의 현재 Crawl Stats 및 robots.txt 테스터에 대해 확인한 감사 walkthrough, September 2026 - 메뉴 경로 변경, 그래서 당신의 GSC가 다른 경우 이름을 확인.
크롤링 예산 감사를 수행하는 것은 핸즈에 운동 - 도구는 완전히 자동화 할 수 있습니다. 모든 엔터프라이즈 클라이언트와 함께 사용하는 단계별 프로세스입니다.
단계 1: 서버 로그 파일 수집
Server logs는 Googlebot이 실제로 크롤링 된 것에 대한 진실의 유일한 소스입니다. 적어도 2 주의 로그 내보내기 (주간 발행주기가 있으면 더 긴). 그런 다음 같은 도구를 사용할 수 있습니다Screaming Frog Log 파일 분석기또는봇그대에게
단계 2: 세그먼트 Googlebot 히트
모든 비봇 트래픽을 필터링합니다. 그런 다음 URL 패턴, 상태 코드, 크롤링 주파수 및 바이트로 Googlebot 요청을 세그먼트합니다. 패턴을 찾습니다 :
- 낮은 가치 단면도에 높은 크롤러 빈도:/filter는? 페이지 을 얻 500 안 /product/123 을 얻 단지 50?
- 4xx 및 5xx 오류 :죽은 페이지의 모든 크롤러는 예산을 낭비.
- Redirect 사슬:Googlebot은 포기하기 전에 5 hops까지 따릅니다.
3 단계 : 인덱스 적용과 비교
Google Search Console의 색인 적용 보고서를 사용하여 Cross-reference crawled URL. crawled-to-indexed URL의 높은 비율을 보고 싶습니다. Googlebot이 하루에 50,000 페이지를 크롤링하고 있지만 10,000을 색인하면 비 유가 가능한 콘텐츠에 지출되는 예산의 명확한 기호입니다.
나는 크롤링 된 URL의 60 %가 부드러운 404을 돌려 놓았거나 noindex-yet Googlebot에 의해 명시적으로 차단 된 사이트가 out‐of‐date 템플릿에서 내부 링크로 인해 타격했습니다.
Crawl Budget Analysis에 대한 주요 도구
추측 할 필요가 없습니다-현대 도구는 Googlebot이 사이트를 통해 이동하는 방법에 X-ray 비전을 제공합니다. 여기에 내가 가장 의존하는 것, 각 직접 링크:
- Screaming Frog Log 파일 분석기– 예산 로그 파일 분석을 위해 내 go-to. 크롤링 주파수, 대역폭 사용 및 상태 코드 배포를 최대 1,000 URL에 무료로 표시합니다.
- 봇– 기업 Powerhouse. 실제 사용자 모니터링 (RUM) 및 시뮬레이션 크롤러 데이터는 사이트 아키텍처를 변경할 때 무슨 일이 일어날 수 있습니다.
- Lumar (이전 DeepCrawl)– 매개변수 처리 및 orphan 페이지와 같은 crawl inefficiencies 발견을 위해 우수한.
- 채용정보– crawl 예산 보고서를 제공합니다. 하이라이트는 크롤러 활동과 서버 부하 위험.
- Ahrefs 사이트 감사– 사이트의 성능과 내부 연결 구조에 따라 예상된 크롤러 예산을 제공합니다.
- 사이트맵– 내부 링크 흐름을 시각화하고 리디렉션 루프와 같은 예산 블랙 홀을 스트리팅하는 데 큰.
비교표: 로그 파일 분석 도구
| 제품 정보 | 시작 가격 | Log 파일 분석 | Crawl 예산 보고서 | Server 성능 미터 |
|---|---|---|---|---|
| 비명 Frog | 무료 / £ 149 / 년 | 이름 * | Basic (고객 보고) | 예 (로그에서) |
| 봇 | 기업 (quote) | 이름 * | 예, 예산 모델링 | 예, RUM 포함 |
| 루마르 | 기업 (quote) | 이름 * | 견적 요청 | 예 (서버 로그 + 데이터) |
| 채용정보 | $79/mo | 이름 * | 예, 전용 예산 대시보드 | 예 (응답 시간 포함) |
| 사이트맵 | €99/mo | 없음 (크롤러 전용) | crawl data에 근거한 추정 | 기본 (기존 코드만) |
| 사이트맵 | $59/mo | 없음 (크롤러 전용) | 예, 내부 링크 분석 | 기본 (직접 체인 정보) |
crawl 예산에 대해 심각한 경우 실제 서버 로그를 처리하는 도구가 필요합니다. Sitebulb 및 Ahrefs는 전반적인 사이트 감사에 대 한 중대 이지만 제공 하는 로그에 대 한 진짜 ‐ 세계 크롤러 자료를 제공 하지 않습니다.
고급 전략: 크롤 예산 우선 순위
누출을 확인하면 Googlebot이 가장 중요 한 페이지에주의를 직접 할 때입니다. 여기에 4 고급 전술 나는 큰 웹 사이트와 함께 사용.
1. 사용옵션 정보사이트 맵
Googlebot은<옵션 정보>XML 사이트 맵에서 신선도 신호로 태그. 사이트 맵을 자주 업데이트하고 정확하게 타임 스탬프 각 페이지를 업데이트하면 Googlebot은 최근 페이지를 빠르게 다시 칠 것입니다. 그러나 조심해야옵션 정보값 (예., 모든 URL에서 오늘의 날짜를 입력)는 erode 신뢰를하고 사이트 맵을 무시하는 Google을 일으킬 수 있습니다.
2. Proper Faceted 항법 구현
Faceted 항법은 전자 상거래 사이트에 대한 크롤러 예산에 단일 가장 큰 하수구입니다. 많은 플랫폼은 수천 개의 쓸모없는 조합을 생성합니다.?color=빨간&크기 = 큰&정렬 = 가격. 사용 권장이름 *낮은 가치 facets 및 가장 비싼 패턴을 차단robots.txt· 더 나은 아직, 새로운 URL을 생성하지 않는 JavaScript 기반 필터링으로 전환.
3. Google Search Console의 Crawl Rate 제어
Google Search Console은 크롤링 속도의 변화를 요청할 수 있습니다. 더 많은 트래픽을 처리 할 수있는 서버가있는 경우 더 높은 비율을 요청할 수 있습니다. 서버가 스트레스를 받으면 느리게 할 수 있습니다. 그러나 효과는 일시적으로 Google은 결국 자신의 데이터를 기반으로 조정합니다. 여전히 사이트 마이그레이션 또는 서버 업그레이드 중 유용한 레버입니다.
4. Orphan 페이지 제거
Orphan 페이지는 사이트에 어디에서나 연결되지 않습니다. Googlebot은 사이트 맵이나 외부 링크에서 검색 할 수 있습니다. 그러나 Orphan 페이지가 과거 캠페인에서 Google의 인덱스에 나타나기 때문에 반복적으로 크롤링 된 경우를 보았습니다. 페이지에 모든 크롤러는 아무도 링크 머리 위입니다. 관련 학부모를 리디렉션하거나 완전히 제거하십시오.
일반적인 크롤 예산 실수 나는 매일 볼
수백 개의 사이트 감사 후, 나는 같은 오류를보고 계속. 이들을 위해 조심하세요:
- robots.txt로 모든 것을 차단:일부 팀 over-aggressively 블록 섹션, 실수로 색인이 필요한 페이지를 차단. non-essential Directories만을 위한 robots.txt 사용
/assets/또는/admin/). - 연약한 404s를 무시:Googlebot은 부드러운 404로 200 상태를 반환하는 "page not found"메시지를 치료합니다. 그것은 그것을 크롤링 유지, 예산 낭비. 항상 실제 404 또는 410을 반환합니다.
- 사이트 맵을 최적화:각 URL(noindex ones) 을 포함해 사이트 맵과 confuses 구글. 사이트 맵을 유지.
- 리디렉션 체인을 잊어 :모든 리디렉션은 요청을 추가합니다. 시간이 지남에 따라 여러 hops는 상당한 예산을 소비 할 수 있습니다.
Crawl Budget Optimization에 대한 FAQ
Googlebot은 어떻게 내 사이트를 크롤링합니까?
사이트의 인기, 업데이트 빈도 및 서버 성능에 따라 다릅니다. 높은 수준의 뉴스 사이트는 매일 크롤링 될 수 있습니다, 정적 요리 블로그는 주간 또는 월별 크롤링 될 수 있습니다. 아래 Google Search Console에서 crawl 주파수를 볼 수 있습니다.크롤 통계.
crawl 예산은 작은 사이트에 영향을 미칩니까?
일반적으로. 대부분의 작은 사이트는 수천 개의 URL보다 약간 적습니다. Googlebot은 일반적으로 시간의 문제에서 전체 부하를 처리 할 수 있습니다. 그러나 서버 문제 또는 얇은 콘텐츠가 예산을 압도하는 작은 사이트가 있다면 여전히 지표에 영향을 줄 수 있습니다.
내 크롤러 예산을 늘릴 수 있습니까?
간접적으로, 예. 서버 속도를 향상시키고, 링크를 끌고 깨끗한 사이트 아키텍처를 유지합니다. 사이트가 더 많은 관심을 가질만한 Google에 이러한 신호. 검색 콘솔에서 임시 크롤링률 증가를 요청할 수도 있지만, 서버가 속도를 유지하지 못하면 효과가 퇴색됩니다.
좋은 크롤러 비율은 무엇입니까?
유니버셜 번호가 없습니다. 당신의 총 색인할 수 있는 URL에 크롤러 비율을 비교하십시오. 5만 개의 인덱스 가능한 페이지와 Googlebot이 하루에 5,000 달러를 크롤링하면 매일 업데이트하지 않는 사이트로 10 %의 일일 커버리지가됩니다. 5,000을 크롤링하고 있지만 1,000은 중요합니다.
Googlebot을 변경 후 다시 크롤링하는 방법?
구조적 변화 (얇은 페이지를 제거하거나 리디렉션을 청소와 같은)를 만들면, Googlebot은 일반적으로 크롤 패턴의 변화를 반영하기 위해 1 ~ 4 주 사이에 걸립니다. 새로운 사이트 맵을 제출하거나 URL 검사 도구의 "Request Indexing"을 사용하여 작업을 가속화 할 수 있습니다.
오늘 Crawl 예산을 중단
Crawl 예산 최적화는 한 번의 수정이 아닙니다. 매번 Googlebot을 지불하는 지속적인 분야는 귀하의 사이트를 터치합니다. 서버 성능, 사이트 아키텍처 및 콘텐츠 품질을 정렬 할 때, 당신은 명확한 신호를 보내: "내 최고의 페이지를 먼저."
나는 사이트가 3 개월 이내에 색인 된 페이지를 세 배로 늘리고 내부 링크 정리하여 크롤링 경로에서 낮은 값 URL을 제거했습니다. 그것은 더 유기 트래픽을 의미, 새로운 콘텐츠의 빠른 색인, 그리고 부팅에 낮은 서버 부하.
시작하지 않은 경우 - 또는 당신은 모든 것을 시도하고 여전히 잘못된 페이지에 Googlebot 낭비 시간을 볼 수 -DG10 대리점과의 연락. 우리의기업 기술 SEO 팀크롤 예산 최적화, 로그 파일 분석 및 사이트 아키텍처 계획의 전문화. 우리는 당신이 모든 크롤러 조사를 지킬 것을 도울 것입니다.
이 사이트는 좀 더 나은 접속환경을 제공해 드리고자 쿠키를 사용합니다. 수정하자.
공지사항
이 가이드가 도움이되면,이 시스템에 더 깊은 이동: