Crawl Budget Optimization: Stop Googlebot Da sprecare le vostre risorse
Ho perso il conto di quante volte ho visto un sito versare mesi di lavoro in contenuti, riprogetti e link building - solo per guardare Googlebot sprecare il suo preziosocrawl budgetsu filtri sfaccettati senza fine, vecchi comunicati stampa orfani, e pagine di affiliazione sottili. Il risultato? Le pagine che effettivamente guidare il fatturato non vengono mai indicizzate, figuriamoci classificate.
Crawl budget è uno di quei concetti tecnici SEO che suona astratto—fino a quando ti rendi conto che è la differenza tra il tuo nuovo lancio di prodotto che appare nei risultati di ricerca in una settimana o un quarto. In questa guida, ti mostrerò esattamente come controllare, ottimizzare e fermare Googlebot da bruciare il suo tempo limitato sul tuo sito.
Perché Crawl Budget Matters per SEO
Cominciamo con le basi. Googlebot ha una quantità limitata di tempo da trascorrere su ogni sito web. Questo “criwl budget” è determinato da due fattori:
- Limite di tasso di cambio– quante connessioni simultanee Googlebot farà al tuo server.
- Domanda di asilo– quanto interessante Google trova i tuoi URL (basato su popolarità, freschezza e importanza storica).
Per i piccoli blog, questo raramente conta. Ma per i negozi di e-commerce, i siti di notizie o le piattaforme web aziendali, un budget scarso può lasciare migliaia di URL preziosi indicizzati. Ho lavorato con un rivenditore di medie dimensioni che aveva 200.000 pagine di prodotto, ma Googlebot era solo strisciando 8.000 al giorno. La maggior parte di questi URL strisciati erano filtri di categoria e la navigazione sfaccettata con contenuti sottili. La loro nuova collezione stagionale non è stata completamente indicizzata per tre mesi.
Quando Googlebot trascorre il suo tempo su pagine a basso valore, le pagine che effettivamente guidano il traffico, come le pagine dei prodotti, le pagine di atterraggio e i post del blog di base, vengono spinte sul retro della coda. Il risultato è un indicizzazione più lenta, una minore visibilità organica e risorse server sprecate.
I 3 pilastri dell'ottimizzazione del bilancio di Crawl
Negli ultimi dieci anni, ho fatto bollire l'ottimizzazione del budget crawl fino a tre aree principali: prestazioni del server, architettura del sito e qualità dei contenuti. Trascurare uno di questi, e vedrete Googlebot girare le ruote.
1. Prestazioni del server
Googlebot è un brutale revisore delle prestazioni. Se il server risponde lentamente o restituisce gli errori, si abbassa immediatamente la velocità di strisciamento. Secondo la documentazione di Google, la velocità di strisciamento è in parte determinata da quanto rapidamente il server può gestire le richieste.
Suggerisco di programmare un'analisi dei file di registro per basare i tempi di risposta del server e i tassi di errore. Cercare errori 5xxx, timeout e valori TTFB elevati. Se vedi i picchi, affrontali prima di fare qualcos'altro. Un server più veloce ti guadagna una velocità di strisciamento superiore, il che significa che più delle tue pagine buone vengono visitate.
2. Architettura del sito
Collegamento interno è l’acqua che alimenta il sistema root del tuo sito web. Googlebot utilizza link per scoprire nuove pagine e comprendere l'importanza relativa. Un'architettura piatta, dove ogni pagina importante è raggiungibile in tre clic dalla homepage, rende facile per Googlebot diffondere il suo budget dove conta.
Prendo anche molta attenzione alle vostre mappe del sito XML. Essi agiscono come un segnale diretto a Google su quali URL sono più importanti. Assicurarsi che le mappe del sito includono solo pagine canoniche, indicizzabili. Se stai generando mappe del sito con URL sfaccettati, stai effettivamente dicendo a Googlebot di scendere un foro di coniglio di contenuto sottile.
3. Qualità dei contenuti
Il contenuto sottile, duplicato o a basso valore è il modo più veloce per il bilancio strisciante sanguinato. Ogni volta che Googlebot scopre una pagina come “product-category?color=red&dimensione=grande” lo tratta come un bersaglio di striscia distinta. Prima di lungo, il server serve centinaia di URL quasi identici con valore incrementale zero.
Utilizzare Google Search ConsoleCrawl Statsrapporto per vedere quante pagine Googlebot sta scoprendo rispetto a quanti è in realtà strisciando con alta priorità. Se il numero di pagine scoperte è molto più alto di pagine gattonate, si dispone di una perdita di bilancio strisciante.
Come Controllare il tuo Crawl Budget
Audit walkthrough verificato contro Google Search Console attuale Crawl Stats e robots.txt tester, settembre 2026 — i percorsi di menu cambiano, quindi confermare i nomi se il vostro GSC sembra diverso.
Effettuare un controllo di bilancio strisciare è un esercizio pratico—nessuno strumento può completamente automatizzarlo. Ecco il processo passo-passo che uso con ogni client aziendale.
Passo 1: Raccogli i file di registro del server
I registri del server sono l'unica fonte di verità per ciò che Googlebot effettivamente strisciato. Esportare almeno due settimane di registri (più lungo se si dispone di un ciclo di pubblicazione settimanale). È quindi possibile utilizzare strumenti comeAnalizzatore di file di registro FrogoBotifyper parare.
Fase 2: Segment Googlebot Hits
Filtra tutto il traffico non-bot. Quindi segmentare le richieste Googlebot per modello URL, codice di stato, frequenza di striscia e byte trasferite. Cercare modelli:
- Alta frequenza di strisciamento su sezioni a basso valore:/filtro? pagine che ottengono 500 colpi mentre /product/123 ottiene solo 50?
- errori 4xx e 5xx:Ogni strisciamento su una pagina morta spreca il budget.
- Catene redirette:Googlebot segue fino a cinque luppolo prima di rinunciare.
Passo 3: Confronta con Indice di copertura
URL a strisce di riferimento con il rapporto di copertura dell’indice di Google Search Console. Vuoi vedere un alto rapporto di URL indicizzati. Se Googlebot sta strisciando 50.000 pagine al giorno, ma solo indicizzando 10.000, questo è un chiaro segno di budget speso su contenuti non indicibili.
Ho visto i siti in cui il 60% degli URL strisciati stava ritornando soft 404s o sono stati esplicitamente bloccati da noindex—ancora Googlebot continuava a colpirli a causa di link interni da modelli out-of-date.
Strumenti chiave per l'analisi del bilancio di Crawl
Non c'è bisogno di indovinare: gli strumenti moderni ti danno una visione a raggi x su come Googlebot si muove attraverso il tuo sito. Ecco quelli che faccio affidamento sulla maggior parte, ciascuno con un link diretto:
- Analizzatore di file di registro Frog– il mio go-to per l'analisi dei file di registro di bilancio. Mostra la frequenza di strisciamento, l'uso della larghezza di banda e la distribuzione del codice di stato libero fino a 1.000 URL.
- Botify– Powerhouse aziendale. Il loro monitoraggio utente reale (RUM) e i dati di scansione simulati consentono di modellare ciò che accade quando si cambia l'architettura del sito.
- Lumar (ex DeepCrawl)– eccellente per la scoperta di inefficienze crawl come la manipolazione dei parametri e pagine orfane.
- Sucrawl– fornisce report di budget crawl che evidenziano le attività di scansione sprecate e i rischi di carico del server.
- Audit del sito Ahrefs– ti dà un preventivo di strisciamento stimato sulla base delle prestazioni del tuo sito e della struttura di collegamento interna.
- Mappa del sito– ottimo per visualizzare il flusso di collegamento interno e individuare i buchi neri di budget come loop redirect.
Tabella di confronto: Strumenti di analisi file di log
| Strumento | Prezzo di partenza | Analisi dei file di log | Rapporti di bilancio | Metriche delle prestazioni del server |
|---|---|---|---|---|
| Rana rana | Gratis / £149/yr | Sì. | Basic (relazioni personalizzate) | Sì (da registri) |
| Botify | Impresa (quota) | Sì. | Sì, con la modellazione di bilancio | Sì, include RUM |
| Lumar | Impresa (quota) | Sì. | Sì, con stime di bilancio | Sì (server logs + dati) |
| Sucrawl | $79/mo | Sì. | Sì, cruscotto budget dedicato | Sì (incluso il tempo di risposta) |
| Ahrefs | €99/mondo | No. | Stime basate sui dati di strisciamento | Basic (solo codici di stato) |
| Mappa del sito | $59/mo | No. | Sì, tramite analisi dei link interni | Basic (redirect chain info) |
Come potete vedere, se siete seri circa il budget crawl, avete bisogno di uno strumento che elabora i vostri registri server reali. Sitebulb e Ahrefs sono grandi per gli audit generali del sito, ma non vi darà i dati di scansione del mondo reale che i registri forniscono.
Strategie avanzate: Prioritizzazione del bilancio di Crawl
Una volta identificate le perdite, è il momento di indirizzare l'attenzione di Googlebot alle pagine che più importano. Qui ci sono quattro tattiche avanzate che uso con grandi siti web.
1. Usolastmodin Sitemaps
Googlebot utilizza il<lastmod>tag in XML sitemaps come segnale di freschezza. Se si aggiorna la mappa del sito frequentemente e con precisione timestamp ogni pagina, Googlebot ricrawl pagine recenti più velocemente. Ma state attenti – imprecisilastmodvalori (ad esempio, mettendo la data di oggi su ogni URL) eroderà fiducia e può causare Google di ignorare la vostra mappa del sito.
2. Implement Proper Faceted Navigation
Di fronte alla navigazione è il singolo scarico più grande su budget crawl per i siti di e-commerce. Molte piattaforme generano migliaia di combinazioni inutili come?color=red&size=large&sort=price. Ti consiglio di usarenoindexper sfaccettature a basso valore e bloccando i modelli più costosirobots.txt. Meglio ancora, passare al filtraggio basato su JavaScript che non genera nuovi URL.
3. Control Crawl Rate in Google Search Console
Google Search Console ti permette di richiedere un cambio di velocità. Se si dispone di un server in grado di gestire più traffico, è possibile chiedere una tariffa più alta. Al contrario, se il server è sotto stress, puoi rallentarlo. Ma l'effetto è temporaneo—Google alla fine si adatterà in base ai propri dati. Tuttavia, è una leva utile durante le migrazioni del sito o gli aggiornamenti del server.
4. Eliminazione della pagina orfano
Le pagine orfane non sono collegate da nessuna parte del tuo sito, quindi Googlebot deve fare affidamento su mappe del sito o link esterni per scoprirle. Tuttavia, ho visto casi in cui le pagine orfane vengono strisciate ripetutamente perché appaiono ancora nell'indice di Google dalle campagne passate. Ogni strisciamento su una pagina a cui nessuno si collega è in testa. Reindirizzarli a genitori pertinenti o rimuoverli completamente.
Errori comuni di bilancio di Crawl che vedo ogni giorno
Dopo aver verificato centinaia di siti, continuo a vedere gli stessi errori. Attenzione a questi:
- Bloccare tutto con robot.txt:Alcune squadre bloccano eccessivamente le sezioni, bloccando accidentalmente le pagine che devono essere indicizzate. Utilizzare robot.txt solo per directory non essenziali (come
/assets/o/admin/). - Ignorando morbido 404s:Googlebot tratta un messaggio “pagina non trovata” che restituisce uno stato 200 come morbido 404. Continuerà a strisciare, sprecando il budget. Ritorna sempre un vero 404 o 410.
- Mappa del sito:Inclusi ogni URL (anche noindex) bloats your sitemap and confonde Google. Tenere le mappe del sito magra.
- Dimenticare catene redirezionali:Ogni redirect aggiunge una richiesta. Nel corso del tempo, più luppolo possono consumare budget significativi.
FAQs sull'ottimizzazione del bilancio di Crawl
Quanto spesso Googlebot striscia il mio sito?
Dipende dalla popolarità del tuo sito, dalla frequenza di aggiornamento e dalle prestazioni del server. Un sito di notizie ad alto traffico potrebbe essere strisciato ogni giorno, mentre un blog di cucina statica può essere strisciato settimanale o mensile. È possibile vedere la frequenza di strisciamento in Google Search Console sottoCrawl Stats.
Il bilancio striscia colpisce piccoli siti?
Non in genere. La maggior parte dei piccoli siti hanno meno di un paio di migliaia di URL, quindi Googlebot può solitamente gestire il carico completo in poche ore. Tuttavia, se si dispone di un piccolo sito con problemi di server o contenuti sottili schiacciano il budget, può ancora indicizzare.
Posso aumentare il mio budget?
Indirettamente, sì. Migliorare la velocità del server, produrre contenuti di alta qualità che attira i collegamenti e mantenere un'architettura del sito pulita. Questi segnali a Google che il vostro sito merita più attenzione. È inoltre possibile richiedere un aumento temporaneo della velocità di strisciamento in console di ricerca, ma l'effetto svanirà se il server non può mantenere il ritmo.
Che cosa è un buon tasso di strisciamento?
Non c’è nessun numero universale. Confronta il tuo tasso di scansione al tuo numero totale di URL indicizzabile. Se si dispone di 50.000 pagine indicibili e Googlebot sta strisciando 5.000 al giorno, che è una copertura giornaliera del 10%—fine per un sito che non aggiorna quotidianamente. Se stai strisciando 5000 ma solo 1.000 sono importanti, questo è un problema.
Quanto tempo ci vuole Googlebot per riciclare dopo i cambiamenti?
Se si effettuano cambiamenti strutturali (come la rimozione di pagine sottili o la pulizia di reindirizzamenti), Googlebot di solito prende tra una e quattro settimane per riflettere il cambiamento nel suo modello di strisciamento. Inviare una nuova mappa del sito o utilizzando lo strumento di ispezione URL “Request Indexing” può accelerare le cose.
Smettere di sprecare il vostro Crawl Budget oggi
L’ottimizzazione del bilancio di Crawl non è una soluzione di una sola volta. È una disciplina in corso che paga ogni volta che Googlebot tocca il tuo sito. Quando allinei le prestazioni del server, l'architettura del sito e la qualità dei contenuti, invii un segnale chiaro: “Crawl my best pages first.”
Ho visto i siti triplicare le loro pagine indicizzate entro tre mesi semplicemente pulendo il loro collegamento interno e rimuovendo URL a basso valore dal percorso di strisciamento. Ciò significa più traffico organico, indicizzazione più veloce di nuovi contenuti, e un carico server più basso per avviare.
Se non sei sicuro di dove cominciare, o hai provato tutto e vedi ancora Googlebot perdere tempo sulle pagine sbagliate—contattarci a DG10 Agency.team tecnico aziendale SEOè specializzata nell'ottimizzazione del budget crawl, nell'analisi dei file di log e nella pianificazione dell'architettura del sito. Ti aiuteremo a garantire ogni conteggio di striscia.
Non lasciare che un povero bilancio strisciare frena il potenziale del tuo sito. Risolviamolo.
Continua a leggere
Se questa guida ha aiutato, questi vanno più a fondo sui sistemi dietro di essa: