Il budget di scansione (crawl budget) è la quantità di pagine che Googlebot è pronto a scansionare in un determinato periodo sul suo sito e che desidera scansionare. Per la maggior parte dei siti piccoli e medi non è un problema, e la stessa documentazione di Google lo afferma apertamente. Per i siti di e-commerce, annunci e notizie con centinaia di migliaia di indirizzi, invece, il budget di scansione può determinare quanto velocemente vengono scoperte le nuove pagine. Questo articolo spiega senza esagerazioni a chi interessa l'argomento, che cosa spreca il budget e quali passaggi funzionano davvero.
Cos'è il budget di scansione?
Googlebot non scansiona ogni giorno ogni indirizzo del suo sito. Le sue risorse sono limitate e vengono ripartite tra miliardi di siti. La quantità di scansione assegnata a un sito viene chiamata, in modo non ufficiale, budget di scansione. La cosa importante è questa: il budget non è un fattore di posizionamento. Essere scansionati di più non significa stare più in alto; significa solo che le sue pagine vengono scoperte e aggiornate più rapidamente.
Due componenti: capacità di scansione e domanda
| Componente | Significato | Da cosa dipende? |
|---|---|---|
| Limite di capacità di scansione | Il numero di richieste simultanee che Googlebot può fare senza sovraccaricare il suo server | Tempo di risposta del server, tasso di errori (5xx), risorse dell'hosting |
| Domanda di scansione | Quanto Google desidera scansionare il suo sito | Dimensioni del sito, popolarità, frequenza di modifica dei contenuti e stato di "contenuto superato" |
La quantità effettiva di scansione è il più basso dei due valori. Se il server rallenta o restituisce spesso errori 5xx, Google riduce la capacità. Se le pagine sono di bassa qualità e poco interessanti, la domanda è già bassa. Quindi, per aumentare la capacità servono prestazioni dell'hosting; per aumentare la domanda, sono decisivi la qualità dei contenuti e la popolarità.
A chi interessa?
Secondo la guida di Google per i grandi siti, la gestione del budget di scansione ha senso per:
- Siti con circa un milione o più di pagine uniche, i cui contenuti cambiano con frequenza media (per esempio una volta alla settimana).
- Siti con diecimila o più pagine, i cui contenuti cambiano molto spesso (ogni giorno).
- Siti con molti indirizzi nello stato "Rilevata – attualmente non indicizzata" in Search Console.
Un sito aziendale, un blog o un piccolo negozio con qualche centinaio o qualche migliaio di pagine non rientra in questo gruppo. In questi siti, se una nuova pagina tarda a entrare nell'indice, la causa di solito non è il budget di scansione ma la qualità del contenuto, il link interno o un blocco tecnico. Prima escluda le cause elencate nella nostra guida ai problemi di indicizzazione.
Nota onesta: su un sito piccolo, preoccuparsi di "aumentare il budget di scansione" spesso significa risolvere il problema sbagliato. Prima verifichi che la pagina sia scansionabile, indicizzabile e davvero di valore.
Che cosa spreca il budget di scansione?
Le principali fonti di spreco indicate da Google sono le seguenti:
- Combinazioni di filtri e ordinamento (navigazione a faccette): quando in una categoria si combinano colore, taglia, prezzo e opzioni di ordinamento, la stessa lista di prodotti può generare migliaia di indirizzi con parametri.
- ID di sessione e parametri di tracciamento: strutture che generano un URL diverso per ogni visitatore.
- Contenuto duplicato: la stessa pagina presente in più indirizzi. Per consolidarla consulti il nostro articolo sul tag canonical.
- Soft 404 e pagine 404: indirizzi inesistenti che continuano a essere scansionati. Veda 404 e SEO.
- Lunghe catene di reindirizzamento: ogni passaggio consuma una richiesta. Veda la differenza tra 301 e 302.
- Spazi infiniti: generazione di URL senza fine, come calendari o link "mese successivo".
- Pagine di bassa qualità e sottili: vengono scansionate ma non entrano nell'indice, consumando il budget.
- Server lento: più si allunga il tempo di risposta, meno pagine Googlebot scansiona nello stesso tempo.
Come si misura?
- Report Statistiche di scansione: in Search Console, nella sezione Impostazioni, il report "Statistiche di scansione" mostra il numero di richieste giornaliere, il tempo medio di risposta, la distribuzione dei codici di risposta e i tipi di file. Controlli prima le variazioni improvvise delle richieste totali e dei tassi di 5xx/404.
- Log del server: è l'unica fonte che mostra con precisione quali indirizzi vengono scansionati e con quale frequenza. Qui vede a quali indirizzi con parametri e a quali cartelle Googlebot accede più spesso.
- Report Pagine: il numero di pagine "Rilevata – attualmente non indicizzata" e "Scansionata – attualmente non indicizzata" e alcuni indirizzi di esempio.
- Confronto con la sitemap: confronti il numero di indirizzi nella sitemap con il numero di indirizzi unici scansionati presenti nei log.
Esempio: in un negozio con 20.000 prodotti, se nei log la maggior parte delle richieste di Googlebot va a indirizzi con parametri come
?colore=...&taglia=...&ordina=... e i nuovi prodotti non entrano nell'indice per giorni, il problema è molto probabilmente
che il budget viene assorbito dalle combinazioni di filtri.
(Questo è un esempio ipotetico; verifichi sul proprio sito con i log.)
Passaggi di ottimizzazione
- Gestisca l'inventario degli URL. Blocchi con
robots.txtle aree che non vuole far scansionare (risultati di ricerca interna, combinazioni di filtri prive di valore). Per come scrivere le regole consulti la nostra guida a robots.txt. - Consolidi i duplicati. Riunisca in un unico indirizzo quelli che portano allo stesso contenuto, con reindirizzamento o canonical.
- Per i contenuti eliminati in modo permanente restituisca 404 o 410. Google non dimentica un indirizzo noto, ma 404/410 è un segnale forte per ridurre la frequenza di scansione.
- Pulisca i soft 404. Le pagine vuote o che dicono "non trovata" restituiscano il codice di stato reale.
- Mantenga aggiornata la sitemap. Inserisca solo gli indirizzi che vuole far indicizzare e che restituiscono 200, e faccia coincidere il valore
lastmodcon gli aggiornamenti reali. Per i dettagli consulti la nostra guida alle sitemap XML. - Accorci le catene di reindirizzamento e colleghi i link interni direttamente all'indirizzo finale.
- Migliori la velocità della pagina e del server. Più il server è veloce, più può salire il limite di capacità. Cache e qualità dell'hosting sono determinanti.
- Metta in evidenza le pagine importanti con i link interni. Le pagine vicine alla home e a quelle scansionate spesso vengono scoperte più facilmente. Il nostro articolo sulla strategia di link interni tratta questo tema.
- Monitori lo stato del server. Sovraccarichi e risposte 5xx e 429 fanno rallentare Googlebot.
Esempio: gestire una pagina di categoria con filtri
La fonte più tipica dei problemi di budget di scansione è la navigazione con filtri. In una categoria di scarpe, se ogni combinazione di colore, taglia, marca e ordinamento genera un indirizzo separato, un elenco di cento prodotti può trasformarsi in migliaia di indirizzi scansionabili. Per decidere, si ponga questa domanda: le persone cercano davvero questa combinazione di filtri?
- Sì (per esempio "scarpe sportive nere"): sviluppi la pagina come pagina di destinazione autonoma, con titolo, descrizione e contenuti originali, la sostenga con link interni e la lasci scansionabile.
- No (per esempio "taglia 42 + prezzo crescente"): limiti la scansione con robots.txt oppure impedisca che questi indirizzi vengano generati in massa dai link nella pagina; li colleghi alla categoria principale con un canonical.
- I parametri di ordinamento e di sessione non devono mai essere nell'indice; devono essere tutti riportati a un unico indirizzo.
Nota: Google non può vedere il tag canonical delle pagine bloccate con robots.txt. Quindi per gli stessi indirizzi non si affidi sia al blocco sia al canonical; scelga consapevolmente quale dei due usare.
Credenze sbagliate
| Convinzione comune | La realtà |
|---|---|
| "Il noindex libera budget di scansione." | No. Googlebot richiede comunque la pagina con noindex; semplicemente non la inserisce nell'indice. Per ridurre la scansione si usa robots.txt, per togliere dall'indice si usa noindex: conosca la differenza tra i due. |
| "Se vengo scansionato di più, mi posiziono meglio." | La quantità di scansione non è un segnale di posizionamento. |
| "Posso aumentare la frequenza di scansione da Search Console." | Google ha rimosso il vecchio strumento per limitare la frequenza di scansione; la velocità viene determinata automaticamente. |
| "Ogni sito ha un problema di budget." | Per la maggior parte dei siti l'argomento non è rilevante; diventa evidente solo nei siti molto grandi o con contenuti che cambiano molto rapidamente. |
| "Inviare spesso la sitemap aumenta la scansione." | La sitemap aiuta la scoperta, ma non forza la scansione. Conta che la sitemap sia corretta e aggiornata. |
Tutti questi passaggi fanno parte della sua verifica tecnica; per un ordine generale dei controlli usi la nostra checklist di SEO tecnica. Se il sito è generato con JavaScript, la scansione e l'elaborazione richiedono tempi aggiuntivi: consulti anche la nostra guida alle basi della SEO JavaScript. La guida ufficiale di Google è nella pagina gestione del budget di scansione per i siti di grandi dimensioni.
Domande frequenti
Come faccio a sapere il mio budget di scansione?
Non esiste un numero fisso. Il report Statistiche di scansione di Search Console mostra il numero di richieste giornaliere; i log del server forniscono il dettaglio per indirizzo.
Per il mio piccolo sito il budget di scansione è importante?
Di solito no. Per siti fino a qualche migliaio di pagine il focus deve restare su qualità dei contenuti, link interni e salute tecnica di base.
Una pagina bloccata con robots.txt esce dall'indice?
No. Robots.txt impedisce la scansione, ma se l'indirizzo riceve link dall'esterno può restare nell'indice. Per uscire dall'indice si usa il noindex, e per questo la pagina deve essere scansionabile.
Rendere più veloce il server aumenta il budget?
Quando il tempo di risposta si riduce, Google può scansionare più pagine nello stesso tempo, e così il limite di capacità può salire; ma non è un risultato garantito.
Conclusione
Il budget di scansione è un tema reale che i grandi siti devono gestire, mentre per i piccoli siti è spesso un concetto da non inseguire. Valuti in base alla dimensione del sito: se è grande, monitori le statistiche di scansione e i log e riduca gli indirizzi superflui; se è piccolo, concentri le energie su contenuti e link interni. In entrambi i casi, un server veloce, una struttura degli URL pulita e una sitemap aggiornata facilitano il lavoro di Googlebot. Per vedere nel complesso come far crescere la visibilità sulla base tecnica, consulti il nostro articolo sui metodi per aumentare il traffico organico.