Il robots.txt è un piccolo file di testo collocato nella radice del sito, che indica ai bot dei motori di ricerca a quali indirizzi possono accedere e quali non dovrebbero visitare. Un singolo errore di riga può bloccare la scansione di tutto il sito; un file scritto correttamente, invece, indirizza il budget di scansione verso le pagine importanti. In questa guida spieghiamo a cosa serve il robots.txt, come si scrive, quali direttive sono supportate da Google e quali sono gli errori più frequenti, con esempi.
Cos'è il robots.txt?
Il robots.txt è il file dello standard noto come “Robots Exclusion Protocol”. È un file di testo (UTF-8) e deve trovarsi
obbligatoriamente nella radice del nome di dominio: https://www.esempio.it/robots.txt.
Un robots.txt collocato in una sottocartella non viene preso in considerazione. Ogni sottodominio (ad esempio blog.esempio.it)
e ogni combinazione di protocollo/porta ha bisogno del proprio file.
Lo scopo del file è gestire il traffico di scansione: evitare che i bot perdano tempo in aree prive di valore come il pannello di amministrazione, il carrello, i risultati della ricerca interna o gli indirizzi con infiniti filtri parametrici. Non è uno strumento di sicurezza: chiunque può leggere il file, quindi scrivere qui il nome di una cartella che vuole tenere nascosta significa solo rivelarla. Per i contenuti riservati usi una password o un sistema di autenticazione.
Come usano il robots.txt i motori di ricerca?
Prima di scansionare una qualsiasi pagina di un sito, il bot richiede il file robots.txt e ne legge le regole. Le regole sono raggruppate per “user-agent” (il nome del bot); il bot sceglie il gruppo più adatto a sé e applica solo quello. Alcuni dettagli importanti:
- Se il file non esiste (risposta 4xx come 404), Google lo interpreta come “nessuna restrizione” e scansiona il sito liberamente.
- Se il server risponde con errore 5xx, Google rallenta o interrompe la scansione con prudenza; è quindi importante che l'indirizzo robots.txt risponda correttamente.
- Google elabora solo i primi 500 KiB del file; i file molto grandi vengono troncati.
- Le regole sui percorsi distinguono maiuscole e minuscole:
/Admin/e/admin/sono percorsi diversi. - Google non scarica il file a ogni richiesta, ma lo conserva in cache. Una modifica si vede dopo un certo tempo, non subito.
Sintassi di base e direttive
Le direttive supportate da Google sono limitate a quattro. La tabella seguente riassume a cosa serve ciascuna.
| Direttiva | Cosa fa? | Esempio |
|---|---|---|
User-agent | Indica a quale bot appartiene la regola; * significa tutti i bot. | User-agent: Googlebot |
Disallow | Impedisce la scansione del percorso indicato. | Disallow: /carrello/ |
Allow | Consente un percorso specifico all'interno di una cartella bloccata. | Allow: /carrello/aiuto.html |
Sitemap | Indica l'indirizzo completo del file sitemap; è indipendente dal gruppo. | Sitemap: https://www.esempio.it/sitemap.xml |
Sono disponibili due caratteri jolly: * (qualsiasi sequenza di caratteri) e $ (fine dell'indirizzo).
Ad esempio Disallow: /*.pdf$ copre ogni percorso che termina con .pdf, mentre Disallow: /*?ordina=
copre gli indirizzi con il parametro “ordina”. Se un indirizzo corrisponde sia a una regola Allow sia a una regola Disallow, Google
applica la regola più specifica (più lunga).
Non supportate: Crawl-delay viene ignorata da Google (alcuni altri motori di ricerca potrebbero leggerla).
Anche la riga Noindex non è valida nel robots.txt dal 2019. Per rimuovere dall'indice occorre aggiungere alla pagina un meta tag
noindex o un'intestazione HTTP.
Esempio di file robots.txt
Per un sito aziendale o un piccolo e-commerce, un modello di partenza ragionevole può essere questo:
User-agent: *
Disallow: /admin/
Disallow: /carrello/
Disallow: /pagamento/
Disallow: /ricerca/
Disallow: /*?ordina=
Disallow: /*?sessione=
Sitemap: https://www.esempio.it/sitemap.xml
Questo file impedisce a tutti i bot di scansionare le pagine di amministrazione, carrello, pagamento e ricerca interna, oltre agli indirizzi
con parametri di ordinamento e di sessione; tutto il resto è consentito. In un sito WordPress la coppia di regole più comune è
Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php.
Per stabilire quali percorsi siano davvero privi di valore, parta prima dalle statistiche di scansione in Search Console e dai log del server:
i modelli copiati senza analisi spesso bloccano più del necessario.
Regole diverse per bot diversi
Nel file può definire più gruppi. Ogni gruppo inizia con una o più righe User-agent, seguite dalle regole. Il bot sceglie
un solo gruppo, il più adatto al suo nome, e non aggiunge le regole del gruppo generale (*). Per questo, quando scrive un
gruppo per un bot specifico, deve ripetere in quel gruppo anche le regole comuni.
User-agent: *
Disallow: /admin/
Disallow: /ricerca/
User-agent: Googlebot-Image
Disallow: /immagini-riservate/
Disallow: /admin/
Sitemap: https://www.esempio.it/sitemap.xml
Nell'esempio sopra Googlebot-Image applica solo il proprio gruppo; per questo la regola /admin/ compare anche in quel gruppo.
Lasciare una riga vuota tra i gruppi migliora la leggibilità. Può scrivere commenti anteponendo # alla riga: queste righe vengono ignorate.
Non appesantisca inutilmente le regole: un robots.txt trascurato e cresciuto nel tempo diventa una fonte di rischio, perché nessuno sa più perché
una certa regola sia lì. Scrivere accanto a ogni regola il motivo con un breve commento è una buona abitudine.
Bloccare la scansione non significa rimuovere dall'indice
È il punto più spesso frainteso. Il robots.txt limita solo la scansione. Se un indirizzo bloccato riceve link da altri siti o da link interni, Google può comunque includerlo nell'indice senza aver mai visto il contenuto; nei risultati comparirà solo con l'indirizzo e senza descrizione. Peggio ancora: se blocca una pagina con robots.txt e al tempo stesso applica un noindex, Google non può accedere alla pagina e quindi non vede mai il noindex.
| Il Suo obiettivo | Metodo corretto |
|---|---|
| Non sprecare budget di scansione su indirizzi privi di valore | Disallow nel robots.txt |
| La pagina non deve comparire nei risultati di ricerca | Lasciare la pagina accessibile alla scansione e usare il meta tag noindex |
| Il contenuto deve restare nascosto a tutti | Password/autenticazione (il robots.txt non garantisce sicurezza) |
| Far confluire i segnali di copie di indirizzi | Reindirizzamento 301 o canonical (vedi la nostra guida al canonical) |
Piccolo sito o grande sito? In un sito di alcune centinaia di pagine l'effetto del robots.txt sull'efficienza della scansione è limitato; il suo valore reale sta nell'escludere le aree sbagliate e nel segnalare la sitemap. Per siti con centinaia di migliaia di indirizzi, come gli e-commerce con filtri o i portali di annunci, escludere dalla scansione le combinazioni di indirizzi inutili fa davvero la differenza.
Gli errori più comuni
- Bloccare l'intero sito. La riga
Disallow: /rende il sito non scansionabile se arriva insieme ai file copiati dall'ambiente di sviluppo verso quello live. Controlli sempre il robots.txt quando pubblica una nuova versione. - Bloccare le cartelle CSS e JavaScript. Google ha bisogno di questi file per costruire la pagina e valutarne la compatibilità mobile. Se vengono bloccati, la pagina può apparire incompleta.
- Bloccare indirizzi presenti nella sitemap. Dire contemporaneamente “indicizza questo” e “non entrare” è incoerente; Search Console lo segnala come avviso.
- Scrivere noindex nel robots.txt. Come spiegato sopra, non funziona più.
- Collocare il file nel posto sbagliato. Se il file non si trova nella radice o si chiama in modo diverso, come
Robots.TXT, le regole non vengono considerate. - Scrivere un percorso troppo generico.
Disallow: /prodottonon blocca solo la cartella “prodotto”, ma anche/prodotti/e/prodotto-dettaglio.html, cioè tutti gli indirizzi che iniziano con “/prodotto”. Se intende una cartella, termini il percorso con la barra. - Bloccare le pagine e aspettarsi poi un 301. Se blocca gli indirizzi vecchi che dovrebbero essere reindirizzati, il bot non vedrà il reindirizzamento.
Test prima della pubblicazione
Prima di modificare il file, conservi una copia della versione attuale. Poi segua questi passaggi:
- Apra il file nel browser (
/robots.txt) e verifichi che venga restituito come testo semplice con codice 200. - In Search Console apra il rapporto Impostazioni → robots.txt, che mostra l'ultima versione scaricata da Google, gli errori di sintassi e gli avvisi.
- Per alcune pagine importanti usi lo strumento Ispezione URL; se vede “Bloccata dal file robots.txt”, controlli la regola.
- Nella settimana successiva alla pubblicazione verifichi nel Rapporto Pagine se il numero di “Bloccata dal file robots.txt” aumenta in modo inatteso. Per la diagnosi dei problemi generali di indicizzazione, può essere utile la nostra guida ai problemi di indicizzazione di Google.
Per la documentazione ufficiale consulti la guida al robots.txt di Google Search Central. Il robots.txt è solo una voce del controllo generale dello stato del sito; per tutte le voci usi la nostra checklist SEO tecnica.
Domande frequenti
Il robots.txt è obbligatorio?
No. Se il file non esiste, i bot scansionano il sito liberamente. Tuttavia, se ci sono aree da escludere o vuole segnalare l'indirizzo della sitemap, conviene crearlo.
Quando avrà effetto una modifica al robots.txt?
Google conserva il file in cache e di solito lo aggiorna entro un giorno; l'effetto può quindi comparire da poche ore a un giorno. In caso urgente si può richiedere una nuova scansione dal rapporto robots.txt di Search Console.
Posso bloccare con robots.txt i bot dell'intelligenza artificiale?
Per i bot che rispettano le regole, sì: ogni bot ha un proprio nome user-agent e può essere indicato in un gruppo separato. Tuttavia il robots.txt è una richiesta, non un vincolo: i bot che non rispettano le regole non vengono fermati.
Perché la pagina con Disallow compare ancora su Google?
Perché Disallow non è un comando di rimozione dall'indice. L'indirizzo, ricevendo link da altre parti, può comparire come voce senza contenuto. Soluzione: rimuova il blocco e aggiunga alla pagina un noindex, oppure elimini la pagina del tutto.
Conclusione
Il robots.txt è un file piccolo ma con grandi conseguenze. La regola è semplice: blocchi solo le aree davvero prive di valore, non tocchi i file CSS/JS, inserisca l'indirizzo della sitemap e non lo usi per rimuovere pagine dall'indice. Dopo ogni pubblicazione, verificare il file in Search Console e controllare che le pagine importanti siano scansionabili evita la maggior parte dei disastri. Come passo successivo, per preparare la sitemap, consulti la nostra guida alla sitemap XML.