Crawl Bütçe Optimizasyonu: Kaynaklarınızı Göstermekten Googlebot Durdurun
Bir sitenin içerik, yeniden tasarımlara ve bağlantı binasına dönüştüğünü kaç kez gördüm - sadece Googlebot'i izlemek için değerli bir yer.tarama bütçesiSonsuz yüzsüz filtreler, yetimsiz eski basın yayınları ve ince ortaklık sayfaları. Sonuç mı? Aslında gelir kullanan sayfalar asla endekslenmedi, yalnız sıraya girmesine izin verin.
Crawl bütçesi, soyut görünen bu teknik SEO konseptlerinden biridir - bir hafta veya çeyrekte arama sonuçlarında ortaya çıkan yeni ürün lansmanınız arasındaki fark. Bu kılavuzda, sizi tam olarak nasıl denetim, optimize edeceğimi ve sitenizdeki sınırlı zamanlarını yakmayı bırakacağım.
Neden SEO için Crawl Bütçe Maddeleri
Temellerle başlayalım. Googlebot her web sitesinde geçirmek için son derece zaman vardır. Bu “crawl bütçesi” iki faktör tarafından belirlenir:
- Crawl oranı limiti- Googlebot kaç eş zamanlı bağlantı sunucunuza yapılacaktır.
- Crawl talep- Google URL'lerinizi ne kadar ilginç bulur ( popülerlik, tazelik ve tarihsel öneme dayanarak).
Küçük bloglar için, bu nadiren önemlidir. Ancak e-ticaret mağazaları, haber siteleri veya işletme- web platformları için, kötü bir tarama bütçesi binlerce değerli URL'yi aşamaz bırakabilir. 200.000 ürün sayfası olan orta ölçekli bir perakendeci ile çalıştım, ancak Googlebot günde sadece 8,000 tarama yapıyordu. Bu tarama URL'lerin çoğu kategori filtreleriydi ve ince içeriklerle yüz yüzen navigasyondu. Yeni sezon koleksiyonu üç ay boyunca tamamen endekslenmedi.
Googlebot zamanını düşük değerli sayfalara geçirirken, aslında trafik kullanan sayfalar – ürün sayfaları, iniş sayfaları ve temel blog yazıları gibi – kuyrukların geri dönmesine yol açtı. Sonuç daha yavaş indeksleme, daha düşük organik görünürlük ve boşanıcı sunucu kaynaklarıdır.
Crawl Bütçe Optimizasyonunun 3 Pilleri
Son on yılda, üç temel alana kadar uzatılmış tarama bütçesi optimizasyonu: sunucu performansı, site mimarisi ve içerik kalitesi. Bunlardan herhangi birini seçin ve Googlebot tekerleklerini döndüreceksiniz.
1. Server Performansı
Googlebot vahşi bir performans denetçisidir. Eğer sunucunuz yavaş veya hataları döndürürse, hemen tarama oranını azaltır. Google'ın kendi belgelerine göre, tarama oranı, sunucunuzun istekleri ne kadar çabuk halledebileceğiyle kısmen belirlenir.
Sunucunuzun yanıt süreleri ve hata oranlarınızı temellemek için bir günlük dosya analizini planlamanızı öneririm. 5xx hataları, zaman aralıkları ve yüksek TTFB değerleri arayın. Sıkıntıları görürseniz, başka bir şey yapmadan önce onları ele alın. Daha hızlı bir sunucu size daha yüksek bir tarama oranı kazanıyor, bu da iyi sayfalarınızın ziyaret edilmesi anlamına geliyor.
2. Site Mimarisi
İç bağlantı, web sitenizin kök sistemini besleyen sudur. Googlebot yeni sayfaları keşfetmek ve göreceli önemini anlamak için bağlantıları kullanır. Düz bir mimarlık - her önemli sayfa ana sayfadan üç tıklama içinde ulaşılabilir - önemli olan bütçelerini yaymak için Googlebot'i kolaylaştırır.
Ayrıca XML sitemps'inize yakından dikkat ediyorum. URL'lerin en önemli olduğu hakkında Google'a doğrudan bir sinyal olarak hareket ederler. Sitemaps'inizin sadece canonical, indexlenebilir sayfalar içerdiğini emin olun. Yüzüncü URL'lerle sitemaps üretiyorsanız, ince bir içeriğin tavşan deliğinden çıkmak için Googlebot'i etkili bir şekilde anlatırsınız.
3. İçerik Kalitesi
İnce, tekrarlanan veya düşük değerli içerik, tarama bütçesini kanamanın en hızlı yoludur. Her zaman Googlebot, “product-category?color=red&Boyut=large) ona farklı bir tarama hedefi olarak davranır. Uzun zamandan önce, sunucunuz sıfır artımlı değeri olan yüzlerce yakın akrabaya hizmet ediyor.
Google Search Console'un KullanımıCrawl StatsGooglebot'in kaç sayfasının aslında yüksek öncelikliliğe sahip kaçmasına karşı nasıl keşfedildiğini görmek için rapor. Eğer keşfedilen sayfaların sayısı taranmış sayfalardan çok daha yüksekse, bir tarama bütçesi sızıntınız var.
Crawl Bütçenizi Nasıl Denetim Edilir
Denetim Google Search Console'un mevcut Crawl Stats ve robotlara doğru doğru doğrulandı.txt tester, 2026 - menü yolları değişir, bu yüzden GSC'niz farklı görünüyorsa isimleri doğrulayın.
Bir tarama bütçe denetimi yapmak bir el-on egzersizdir - hiçbir araç tamamen otomatikleştiremez. İşte her işletme müşterisiyle kullandığım adım adım süreci.
Adım 1: Top Server Log Files
Server logları, Googlebot'in gerçekte taradığı tek gerçek kaynağıdır. En az iki haftalık bir yayın döngüsüne sahipseniz ihracat. Daha sonra araçları kullanabilirsinizScreaming Frog Log File AnalyzerveyaBotify BotifyOnları görmezden gelmek.
Adım 2: Segment Googlebot Hits
Tüm robot olmayan trafiği filtreleyin. Sonra segment Googlebot URL deseni, durum kodu, tarama frekansı ve bytes transfer edilir. Desenler için bakınız:
- Düşük değerli bölümlerde yüksek tarama frekansı:Are /filter? Sayfalar 500 hit alırken / ürün /123 sadece 50 alıyor mu?
- 4xx ve 5xx hataları:Ölü bir sayfada her tarama bütçe harcıyor.
- Emekli zincirler:Googlebot, pes etmeden önce beş umuta kadar devam ediyor.
Adım 3: Index Coverage ile Karşılaştırma
Crossreference Google Arama Konsolunun indeks kapsamı raporu ile URL'leri taradı. Taklit edilen URL'lerin yüksek bir oranını görmek istiyorsunuz. Googlebot günde 50.000 sayfayı tararsa, ancak sadece 10.000'i indeksliyorsa, bu, eşsiz olmayan içerikte harcanan bütçenin açık bir işareti.
Taramalı URL'lerin% 60'ının yumuşak 404'leri geri döndüğünü gördüm ya da açıkça hiçbir aşama tarafından engellendim – ancak Googlebot, güncel şablonlardan gelen iç bağlantılar nedeniyle onları vurmaya devam etti.
Crawl Budget Analizi için Anahtar Araçları
Tahmin etmenize gerek yok - Modern araçlar size x-ray vizyonu sitenizde ne kadar Googlebot hareket eder. İşte en çok güvendiğim kişiler, her biri doğrudan bir bağlantıyla:
- Screaming Frog Log File Analyzer- Bütçe günlük dosya analizi için goto.- Ekran frekansı, bant genişliği kullanımı ve durum kodu dağıtım 1.000 URL'ye kadar ücretsiz.
- Botify Botify- kurumsal güçhouse. Gerçek Kullanıcı İzleme (RUM) ve taklit edilmiş tarama verileri, site mimarisinizi değiştirirken ne olacağını modelleyebilirsiniz.
- Lumar (formerly DeepCrawl)- parametre kullanımı ve yetim sayfaları gibi tarama verimlerini keşfetmek için mükemmel.
- Oncrawl- boşanmış tarama aktivitesini ve sunucu yük risklerini vurgulayan tarama bütçe raporları sağlar.
- Ahrefs Site Denetimi- size sitenizin performansına ve içsel bağlantı yapısına dayanan tahmini bir tarama bütçesi verir.
- Sitebulb- İç bağlantı akışını görselleştirmek ve yönlendirme döngüleri gibi bütçe kara delikler bulmak için harika.
Karşılaştırma Masa: Log File Analysis Tools
| Tool Tool Tool | Starting Price | Log File Analysis | Crawl Bütçe Raporları | Server Performans Metrikleri |
|---|---|---|---|---|
| Ağlayan | Free / £149/yr | Evet Evet Evet | Temel (custom raporları) | Evet (günlerden) |
| Botify Botify | Enterprise (quote) | Evet Evet Evet | Evet, bütçe modelleme ile | Evet, RUM içerir |
| Lumar | Enterprise (quote) | Evet Evet Evet | Evet, bütçe tahminleri ile | Evet (server logs + data) |
| Oncrawl | $79 /mo | Evet Evet Evet | Evet, özel bütçe paneli | Evet ( yanıt süresi dahil) |
| Ahrefs | €99/momo | No (crawler sadece) | tarama verilerine dayalı tahmin | Temel (status kodları sadece) |
| Sitebulb | $ 59/momo | No (crawler sadece) | Evet, iç bağlantı analizi aracılığıyla | Temel (esli zincir bilgisi) |
Gördüğünüz gibi, tarama bütçesi konusunda ciddiyseniz, gerçek sunucu loglarınızı işleyen bir araç gerekir. Sitebulb ve Ahrefs genel site denetimleri için harika, ancak size günlüklerin sağladığı gerçek dünya verileri vermez.
Gelişmiş Stratejiler: Crawl Budget Beforeitization
sızıntıları tespit ettikten sonra, çoğu önemli olan sayfalara doğrudan Googlebot'in dikkatini yönlendirmek zamanı. İşte büyük web siteleri ile kullandığım dört gelişmiş taktik.
1. Kullanımı 1.lastmodSitelerde
Googlebot kullanır<lastmod>XML sitemaps'ta tazelik sinyali olarak etiket. Sitenizi sık sık ve doğru bir şekilde her sayfayı güncelyorsanız, Googlebot son sayfaları daha hızlı bir şekilde geri getirecek. Ama dikkatli olun –inaccuratelastmoddeğerler (e.g., bugün her URL'de tarihini koymak) erode güvenecektir ve Google'ın site haritasınızı görmezden gelmesine neden olabilir.
2. Implement Proper Faceted Navigation
Faceted navigasyon, e-ticaret siteleri için tarama bütçesinin en büyük kaybıdır. Birçok platform binlerce işe yaramaz kombinasyon üretiyor?color=red&size=large&sort=price.noindexDüşük değerli yüzler için ve en pahalı desenleri engellerrobots.txt. Daha iyisi, yeni URL üretmediği JavaScript tabanlı filtrelemeye geçiş.
3. Google Arama Konsolunda Crawl Rate
Google Search Console, tarama hızında bir değişiklik talep etmenizi sağlar. Daha fazla trafik idare edebilecek bir sunucunuz varsa, daha yüksek bir oran isteyebilirsiniz. Tersine, sunucunuz stres altındaysa, yavaşlatabilirsiniz. Ancak etki geçicidir - Google sonunda kendi verilerine göre ayarlayacaktır. Yine de, site göçleri veya sunucu yükseltmeleri sırasında faydalı bir avantajdır.
4. Helikopter Page Elimination
Gerçek sayfalar sitenizdeki herhangi bir yerden bağlantılı değildir, bu yüzden Googlebot onları keşfetmek için sitemeps veya dış bağlantılara güvenmek zorundadır. Bununla birlikte, yetim sayfalarının defalarca tarandığı vakaları gördüm çünkü Google’ın son kampanyalardan gelen endekslerinde hala görünüyorlar. Her bir sayfada herhangi bir bağlantı kesin değildir. Ya onları ilgili ebeveynlere yönlendirmek ya da tamamen kaldırmak.
Common Crawl Budget Hataları Her Gün Görüyorum
Yüzlerce siteyi denetim ettikten sonra aynı hataları görmeye devam ediyorum. Bunun için dikkat edin:
- Robotlarla her şeyi bloklayın.txt:Bazı takımlar aşırı derecede blok bölümleri üzerinde, yanlışlıkla indekslenmesi gereken sayfaları engeller. Robotları kullanın.txt for non-esential directories only (like
/assets/veya/admin/). - Yumuşak 404'leri görmezden gelirim:Googlebot, yumuşak 404 olarak 200 statüsünü geri dönen bir “sayfa bulunamadı” mesajına sahiptir. Onu taramaya devam edecek, bütçe harcıyor. Her zaman gerçek bir 404 veya 410 döndürür.
- Over-optiming sitemaps:Her URL'yi (nere sahip olmayanlar bile) sitemep'inizi ve Google'ı karıştırın. Sitemaps eğilin.
- yönlendirme zincirlerini unutun:Her yönlendirme bir istek ekler. Zamanla, birden çok umut önemli bütçe tüketebilir.
FAQs About Crawl Budget Optimizasyon
Googlebot sitemi ne sıklıkta tarar?
Sitenizin popülerliğine, güncelleme frekansına ve sunucu performansına bağlıdır. Yüksek riskli bir haber sitesi günlük taranabilirken, statik bir yemek blogu haftalık veya aylık taranabilir. Ekran frekansınızı Google Arama Konsolunda görebilirsinizCrawl Stats.
Ekran bütçesi küçük siteleri etkiliyor mu?
Tipik olarak değil. Çoğu küçük site birkaç bin URL'den daha azına sahiptir, bu yüzden Googlebot genellikle saat içinde tam yükü idare edebilir. Bununla birlikte, sunucu sorunları veya bütçeyi ezici küçük bir siteye sahipseniz, indekslemeyi hala etkileyebilir.
Ekran bütçemi artırabilir miyim?
Elbette evet. Sunucu hızını artırmak, bağlantıları çeken yüksek kaliteli içerik üretmek ve temiz bir site mimarisi sağlamak. Bu sinyal Google'a sitenizin daha fazla dikkati hak ettiğini gösteriyor. Ayrıca Search Console'da geçici bir tarama oranı artışı talep edebilirsiniz, ancak sunucunuzun hızını koruyamaması durumunda etki kaybolur.
İyi bir tarama oranı nedir?
Evrensel bir sayı yoktur. Tüm indekslenebilir URL sayınıza tarama oranınızı karşılaştırın. 50.000 indekslenebilir sayfanız varsa ve Googlebot günde 5.000 taranırsa, bu %10 günlük kapsama - günlük güncellemeyen bir site için tanımlayın. 5.000'i tararsanız ancak sadece 1.000 önemlidir, bu bir problem.
Değişikliklerden sonra recrawl için Googlebot ne kadar sürer?
Yapısal değişiklikler yaparsanız (daha ince sayfaları veya yönlendirmeleri kaldırmak gibi), Googlebot genellikle tarama modelinde değişikliği yansıtacak bir ve dört hafta boyunca alır. Yeni bir sitemap gönder veya URL Denetim aracının “Request Indexing”ini kullanarak şeyleri hızlandırabilir.
Bugün Crawl Bütçenizi Durdurun
Crawl bütçe optimizasyonu tek zamanlı bir düzeltme değildir. Her zaman Googlebot ödemek için devam eden bir disiplindir. Sunucu performansını, site mimarisini ve içerik kalitesini uyumlu olduğunuzda, açık bir sinyal gönderirsiniz: “İlk önce en iyi sayfalarım.”
Siteleri üç ay içinde indekslenen sayfalarını sadece iç bağlantılarını temizlemek ve düşük değerli URL'leri tarama yolundan kaldırmak için gördüm. Bu daha organik trafik anlamına gelir, yeni içeriğin daha hızlı indekslenmesi ve boot için daha düşük bir sunucu yükü anlamına gelir.
Nereden başlayacağınızdan emin değilseniz – ya da her şeyi denediniz ve hala yanlış sayfalarda zaman harcıyorsunuz –Bizimle temasa geçin DG10 Agency.Enterprise Technical SEO ekibiEkran bütçe optimizasyonu, günlük dosya analizi ve site mimarisi planlama. Her tarama sayılarını sağlamanıza yardımcı olacağız.
Zavallı bir tarama bütçesi sitenizin potansiyelini geri tutmanıza izin vermeyin. Bunu düzeltelim.
Okumaya devam et
Bu kılavuz yardımcı olursa, bunlar arkadaki sistemlerde daha derinleşiyor: