Saltar al contenido
ES · $
Acceso al panel Comprar paquete
SEO técnico

¿Qué es robots.txt y cómo se escribe? Ejemplos y errores frecuentes

6 min de lectura

robots.txt es un pequeño archivo de texto ubicado en la raíz de su sitio que indica a los bots de los motores de búsqueda a qué direcciones pueden acceder y a cuáles no deberían entrar. Un solo error de una línea puede detener el rastreo de todo el sitio; en cambio, un archivo bien escrito dirige el presupuesto de rastreo hacia las páginas importantes. En esta guía le explicamos para qué sirve el archivo robots.txt, cómo se escribe, qué directivas admite Google y cuáles son los errores más frecuentes, con ejemplos.

¿Qué es robots.txt?

robots.txt es el archivo del estándar conocido como "Protocolo de Exclusión de Robots". Está en formato de texto plano (UTF-8) y debe estar necesariamente en la raíz del nombre de dominio: https://www.ornek.com/robots.txt. Un robots.txt colocado en una carpeta secundaria no se tiene en cuenta. Cada subdominio (por ejemplo blog.ornek.com) y cada combinación de protocolo/puerto necesita su propio archivo.

La finalidad del archivo es gestionar el tráfico de rastreo: evitar que los bots pierdan tiempo en zonas sin valor, como el panel de administración, el carrito, los resultados de búsqueda interna o las URL de filtros con infinitos parámetros. No es una herramienta de seguridad: cualquiera puede leer el archivo, así que escribir aquí el nombre de una carpeta que quiere ocultar solo sirve para revelarla. Para contenido confidencial, use contraseña o autenticación.

¿Cómo usan los motores de búsqueda robots.txt?

Antes de rastrear cualquier página de un sitio, el bot solicita el archivo robots.txt y lee sus reglas. Las reglas se agrupan por "user-agent" (agente de usuario); el bot elige el grupo más adecuado para él y aplica solo ese. Algunos detalles importantes:

  • Si el archivo no existe (respuesta 4xx, como 404), Google lo interpreta como "sin restricciones" y rastrea el sitio libremente.
  • Si el servidor responde con error 5xx, Google reduce o detiene el rastreo con cautela; por eso es importante que la dirección robots.txt responda correctamente.
  • Google procesa solo los primeros 500 KiB del archivo; los archivos muy grandes se cortan.
  • Las reglas de ruta distinguen mayúsculas y minúsculas: /Admin/ y /admin/ son rutas diferentes.
  • Google no descarga el archivo en cada solicitud, sino que lo guarda en caché. Los cambios que haga no se notan de inmediato, sino después de un tiempo.

Sintaxis básica y directivas

Las directivas que admite Google se limitan a cuatro. La siguiente tabla resume para qué sirve cada una.

DirectivaQué haceEjemplo
User-agentIndica a qué bot pertenece la regla; * significa todos los bots.User-agent: Googlebot
DisallowImpide el rastreo de la ruta indicada.Disallow: /sepet/
AllowPermite una ruta concreta dentro de una carpeta bloqueada.Allow: /sepet/yardim.html
SitemapIndica la dirección completa del archivo sitemap; es independiente del grupo.Sitemap: https://www.ornek.com/sitemap.xml

Se pueden usar dos comodines: * (cualquier secuencia de caracteres) y $ (final de la dirección). Por ejemplo, Disallow: /*.pdf$ afecta a todas las rutas que terminan en .pdf, y Disallow: /*?sirala= afecta a las direcciones con el parámetro "sirala". Si una dirección coincide tanto con una regla Allow como con una Disallow, Google aplica la regla más específica (la más larga).

Lo que no se admite: Google ignora Crawl-delay (algunos otros motores de búsqueda sí pueden leerlo). La línea Noindex tampoco tiene validez en robots.txt desde 2019. Para quitar una página del índice, debe añadir a la página una etiqueta meta noindex o un encabezado HTTP.

Un ejemplo de archivo robots.txt

Para un sitio corporativo o una pequeña tienda online, una plantilla inicial razonable podría ser la siguiente:

User-agent: *
Disallow: /yonetim/
Disallow: /sepet/
Disallow: /odeme/
Disallow: /arama/
Disallow: /*?sirala=
Disallow: /*?oturum=

Sitemap: https://www.ornek.com/sitemap.xml

Este archivo impide que todos los bots rastreen las páginas de administración, carrito, pago y búsqueda interna, además de las direcciones con parámetros de ordenación y sesión; todo lo demás está permitido. En un sitio WordPress es habitual ver la pareja de reglas Disallow: /wp-admin/ y Allow: /wp-admin/admin-ajax.php. Para determinar qué rutas no aportan valor en su sitio, consulte primero las estadísticas de rastreo de Search Console y los registros del servidor; las plantillas listas para copiar sin revisarlas suelen bloquear más de lo necesario.

Reglas distintas para cada bot

En el archivo puede definir varios grupos. Cada grupo empieza con una o más líneas User-agent y a continuación van sus reglas. El bot selecciona un único grupo, el más adecuado para su nombre; no añade las reglas del grupo general (*). Por eso, si escribe un grupo para un bot concreto, debe repetir en él las reglas comunes.

User-agent: *
Disallow: /yonetim/
Disallow: /arama/

User-agent: Googlebot-Image
Disallow: /ozel-gorseller/
Disallow: /yonetim/

Sitemap: https://www.ornek.com/sitemap.xml

En el ejemplo anterior, Googlebot-Image solo aplica su propio grupo; por eso la regla /yonetim/ aparece también en ese grupo. Dejar una línea en blanco entre grupos mejora la legibilidad. Para escribir un comentario, empiece la línea con #; esas líneas se ignoran. No llene el archivo de reglas innecesarias: un robots.txt sin mantenimiento, cargado de reglas a lo largo de los años, se convierte en una fuente de riesgo cuando nadie sabe por qué existe cada regla. Es una buena práctica anotar brevemente el motivo de cada regla.

Bloquear el rastreo no es lo mismo que desindexar

Este es el punto más confundido. robots.txt solo limita el rastreo. Si una dirección bloqueada recibe enlaces de otros sitios o de enlaces internos, Google puede indexarla igualmente sin llegar a ver el contenido; en los resultados aparecerá sin descripción, solo con la dirección. Peor aún: si bloquea una página con robots.txt y además le pone noindex, Google no puede acceder a la página y, por tanto, nunca verá el noindex.

Su objetivoMétodo correcto
Que no se gaste presupuesto de rastreo en direcciones sin valorDisallow en robots.txt
Que la página no aparezca en los resultados de búsquedaDejar la página rastreable y añadir la etiqueta noindex
Que el contenido quede oculto para todosContraseña/autenticación (robots.txt no ofrece seguridad)
Que las señales de direcciones duplicadas se unifiquenRedirección 301 o canonical (consulte nuestra guía de canonical)

¿Sitio pequeño o grande? En un sitio de varios cientos de páginas, el efecto de robots.txt en la eficiencia del rastreo es limitado; su valor real está en excluir las zonas incorrectas y en anunciar el sitemap. En sitios de comercio electrónico con filtros o portales de anuncios con cientos de miles de direcciones, en cambio, excluir del rastreo las combinaciones innecesarias sí marca una diferencia real.

Errores más frecuentes

  1. Bloquear todo el sitio. Si la línea Disallow: / llega junto con archivos del entorno de desarrollo al pasar a producción, el sitio deja de poder rastrearse. Revise siempre robots.txt al publicar una nueva versión.
  2. Bloquear las carpetas de CSS y JavaScript. Google necesita esos archivos para construir la página y evaluar su compatibilidad con móviles. Si se bloquean, la página puede verse incompleta.
  3. Bloquear direcciones que aparecen en el sitemap. Pedir "indexa esto" y a la vez "no entres" es contradictorio; Search Console lo muestra como advertencia.
  4. Escribir noindex en robots.txt. Como se explicó antes, ya no funciona.
  5. Colocarlo en una ubicación incorrecta. Si el archivo no está en la raíz o se llama de otra forma, como Robots.TXT, las reglas no se tienen en cuenta.
  6. Escribir una ruta demasiado amplia. Disallow: /urun no afecta solo a la carpeta "urun", sino a todas las direcciones que empiezan por "/urun", como /urunler/ o /urun-detay.html. Si se refiere a una carpeta, termine la ruta con una barra diagonal.
  7. Bloquear páginas para el rastreo y esperar después un 301. Si bloquea las direcciones antiguas que redirigen, el bot no podrá ver la redirección.

Pruebas antes de publicar

Antes de modificar el archivo, haga una copia de seguridad de la versión actual. Después, siga estos pasos:

  1. Abra el archivo en el navegador (/robots.txt) y compruebe que se muestra como texto plano con código de estado 200.
  2. En Search Console, abra el informe Configuración → robots.txt; muestra la última versión descargada por Google, los errores de sintaxis y las advertencias.
  3. Para algunas páginas importantes, use la herramienta Inspección de URL; si aparece el texto "bloqueada por robots.txt", revise la regla.
  4. A la semana de la publicación, revise en el informe de Páginas si el número de "bloqueada por robots.txt" aumenta de forma inesperada. Para diagnosticar problemas generales de indexación, nuestra guía de problemas de indexación de Google le será útil.

Para la documentación oficial, puede consultar la guía de robots.txt de Google Search Central. robots.txt es solo un punto de la revisión general de salud del sitio; para todos los puntos, use nuestra lista de control de SEO técnico.

Preguntas frecuentes

¿Es obligatorio robots.txt?

No. Si el archivo no existe, los bots rastrean el sitio libremente. Sin embargo, si hay zonas que quiere bloquear o desea indicar la dirección del sitemap, le conviene crearlo.

¿Cuándo surte efecto un cambio en robots.txt?

Google guarda el archivo en caché y normalmente lo actualiza en un día como máximo; por eso el efecto puede tardar entre unas horas y un día. En caso urgente, puede solicitar un nuevo rastreo desde el informe robots.txt de Search Console.

¿Puedo bloquear con robots.txt a los bots de inteligencia artificial?

Sí, para los bots que respetan las reglas; cada bot tiene su propio nombre de user-agent y puede escribirse como un grupo aparte. Sin embargo, robots.txt es una solicitud, no una imposición: no detiene a los bots que no cumplen las reglas.

¿Por qué sigue apareciendo en Google una página que bloqueé con Disallow?

Porque Disallow no es un comando para desindexar. La dirección puede aparecer sin contenido si recibe enlaces desde otros lugares. Solución: quitar el bloqueo y añadir a la página una etiqueta noindex, o eliminar la página por completo.

Conclusión

robots.txt es un archivo pequeño, pero sus efectos son grandes. La regla es sencilla: bloquee solo las zonas que realmente no aportan valor, no toque los archivos CSS/JS, añada la dirección del sitemap y no lo use para desindexar. Después de cada publicación, verifique el archivo en Search Console y compruebe que las páginas importantes se pueden rastrear; eso evita la mayoría de los problemas. Como siguiente paso para preparar el archivo sitemap, puede pasar a nuestra guía de XML sitemap.

¿Le faltan clics en su palabra clave?

HitBot genera sesiones reales que buscan la palabra clave objetivo, encuentran su sitio y hacen clic en él. El resultado se acumula en Search Console como impresiones y clics.

Otros artículos