Saltar al contenido
ES · $
Acceso al panel Comprar paquete
SEO técnico

Presupuesto de rastreo (crawl budget): qué es y a quién afecta

6 min de lectura

El presupuesto de rastreo (crawl budget) es la cantidad de páginas de su sitio que Googlebot está dispuesto a rastrear en un periodo determinado. Para la mayoría de los sitios pequeños y medianos, este tema no es un problema; así lo dice la propia documentación de Google. En cambio, en tiendas electrónicas, portales de anuncios y sitios de noticias con cientos de miles de direcciones, el presupuesto de rastreo puede determinar lo rápido que se descubren las páginas nuevas. Este artículo explica, sin exageraciones, a quién le afecta, qué desperdicia el presupuesto y qué pasos son realmente eficaces.

¿Qué es el presupuesto de rastreo?

Googlebot no rastrea cada dirección de su sitio todos los días. Sus recursos son limitados y los reparte entre miles de millones de sitios. A la cantidad de rastreo asignada a un sitio se la llama, de forma no oficial, presupuesto de rastreo. Lo importante es esto: el presupuesto no es un factor de posicionamiento. Que lo rastreen más no significa estar en un puesto más alto; solo ayuda a que sus páginas se descubran y actualicen con más rapidez.

Dos componentes: capacidad de rastreo y demanda

ComponenteSignificadoDepende de
Límite de capacidad de rastreoNúmero de solicitudes simultáneas que Googlebot puede hacer sin sobrecargar su servidorTiempo de respuesta del servidor, tasa de errores (5xx), recursos de alojamiento
Demanda de rastreoCuánto quiere Google rastrear su sitioTamaño del sitio, popularidad, frecuencia con la que cambia el contenido y si se mantiene "antiguo"

La cantidad de rastreo real es la menor de estas dos. Si su servidor se ralentiza o da errores 5xx con frecuencia, Google reduce la capacidad. Si sus páginas son de baja calidad y no interesan, la demanda ya es baja. Así, para aumentar la capacidad, lo que determina es el rendimiento del alojamiento, y para aumentar la demanda, la calidad del contenido y la popularidad.

¿A quién le afecta?

Según la guía que Google ha preparado para los propietarios de sitios grandes, gestionar el presupuesto de rastreo tiene sentido en los siguientes casos:

  • Sitios con aproximadamente un millón o más de páginas únicas, cuyo contenido cambia con frecuencia media (por ejemplo, una vez a la semana).
  • Sitios con diez mil o más páginas, cuyo contenido cambia con mucha frecuencia (a diario).
  • Sitios con muchas direcciones en el estado "Detectada, actualmente no indexada" en Search Console.

Un sitio corporativo, un blog o una pequeña tienda de unos cientos o pocos miles de páginas no entra en este grupo. En esos sitios, si una página nueva tarda en indexarse, normalmente la causa está en la calidad del contenido, en el enlazado interno o en un obstáculo técnico, no en el presupuesto de rastreo. Descarte primero las causas de nuestra guía de problemas de indexación.

Nota honesta: En un sitio pequeño, intentar "aumentar el presupuesto de rastreo" suele ser resolver el problema equivocado. Antes, compruebe que la página se puede rastrear, indexar y que realmente aporta valor.

¿Qué desperdicia el presupuesto de rastreo?

Estas son las principales fuentes de desperdicio que señala Google:

  • Combinaciones de filtros y ordenaciones (navegación por facetas): cuando en una categoría se combinan color, talla, precio y opciones de orden, puede generarse para una misma lista de productos un número enorme de direcciones con parámetros.
  • Identificadores de sesión y parámetros de seguimiento: estructuras que generan una URL distinta para cada visitante.
  • Contenido duplicado: la misma página en varias direcciones. Para unificarlas, consulte la etiqueta canonical.
  • Páginas 404 y soft 404: direcciones que no existen pero siguen siendo rastreadas. Véase errores 404 y SEO.
  • Cadenas largas de redirección: cada paso consume una petición. Véase la diferencia entre 301 y 302.
  • Espacios infinitos: generación de URL sin fin, como calendarios o enlaces de "mes siguiente".
  • Páginas de baja calidad y finas: se rastrean pero no se indexan, y consumen el presupuesto.
  • Servidor lento: cuanto más tarda en responder, menos páginas rastrea Googlebot en el mismo tiempo.

¿Cómo se mide?

  1. Informe de estadísticas de rastreo: en Search Console, el informe "Estadísticas de rastreo" de la sección Configuración muestra el número diario de solicitudes, el tiempo medio de respuesta, la distribución de códigos de respuesta y los tipos de archivo. Empiece por los cambios bruscos en el total de solicitudes y en las proporciones de 5xx y 404.
  2. Registros del servidor: son la única fuente que muestra con exactitud qué direcciones se rastrean y con qué frecuencia. Ahí verá a qué parámetros y carpetas acude más Googlebot.
  3. Informe de páginas: el número de páginas en los estados "Detectada, actualmente no indexada" y "Rastreada, actualmente no indexada", y sus direcciones de ejemplo.
  4. Comparación con el mapa del sitio: compare el número de direcciones del mapa del sitio con el número de direcciones únicas rastreadas que aparecen en los registros.

Ejemplo hipotético: en una tienda con 20.000 productos, si en los registros la mayoría de las solicitudes de Googlebot van a direcciones con parámetros como ?renk=...&beden=...&sirala=... y los productos nuevos tardan días en indexarse, lo probable es que el presupuesto se esté yendo a combinaciones de filtros. (Es un ejemplo hipotético; compruébelo con los registros de su sitio.)

Pasos de optimización

  1. Gestione el inventario de URL. Bloquee con robots.txt las áreas que no quiere que se rastreen (resultados de búsqueda interna, combinaciones de filtros sin valor). Para saber cómo escribir las reglas, consulte nuestra guía de robots.txt.
  2. Unifique los duplicados. Reúna en una sola dirección las URL que llevan al mismo contenido, mediante redirección o canonical.
  3. Devuelva 404 o 410 para el contenido eliminado de forma permanente. Google no olvida una dirección conocida, pero 404/410 es una señal fuerte para reducir su rastreo.
  4. Elimine los soft 404. Las páginas vacías o que dicen "no encontrada" deben devolver el código de estado real.
  5. Mantenga el mapa del sitio actualizado. Incluya solo las direcciones que quiere que se indexen y que devuelven 200, y haga que el valor lastmod coincida con las actualizaciones reales. Para más detalles, consulte nuestra guía del sitemap XML.
  6. Acorte las cadenas de redirección y enlace internamente directamente a la dirección final.
  7. Mejore la velocidad de la página y del servidor. Al acelerar el servidor puede subir el límite de capacidad. El almacenamiento en caché y la calidad del alojamiento son decisivos aquí.
  8. Destaque las páginas importantes con enlaces internos. Las páginas cercanas a la página de inicio y a las páginas que se rastrean con frecuencia se descubren con más facilidad. Nuestro artículo sobre la estrategia de enlazado interno trata este tema.
  9. Vigile el estado del servidor. La sobrecarga y las respuestas 5xx y 429 hacen que Googlebot reduzca el ritmo.

Ejemplo: gestionar una categoría con filtros

La fuente más típica de problemas de presupuesto de rastreo es la navegación con filtros. Si en una categoría de calzado cada combinación de color, talla, marca y orden genera una dirección propia, una lista de cien productos puede convertirse en miles de direcciones rastreables. Para decidir, pregúntese: ¿la gente busca realmente esta combinación de filtros?

  • Sí (por ejemplo, "zapatillas deportivas negras"): desarrolle la página como un destino propio con un título, una descripción y un contenido originales, apóyela con enlaces internos y manténgala rastreable.
  • No (por ejemplo, "talla 42 + precio ascendente"): limite el rastreo con robots.txt o evite que estas direcciones se generen en masa mediante enlaces en la página; y vincúlelas con canonical a la categoría principal.
  • Los parámetros de orden y de sesión nunca deben estar en el índice; todos deben reunirse en una sola dirección.

Nota: Google no puede ver la etiqueta canonical de las direcciones bloqueadas con robots.txt. Por eso, no confíe a la vez en el bloqueo y en el canonical para las mismas direcciones; decida conscientemente cuál usar.

Ideas erróneas habituales

Creencia habitualRealidad
"Noindex libera presupuesto de rastreo."No. Googlebot pide también la página con noindex; solo que no la indexa. Para reducir el rastreo se usa robots.txt, y para sacar algo del índice, noindex; conviene saber la diferencia entre ambos.
"Si me rastrean más, me posiciono mejor."La cantidad de rastreo no es una señal de posicionamiento.
"Puedo subir la velocidad de rastreo desde Search Console."Google eliminó la antigua herramienta de limitación de velocidad de rastreo; la velocidad se determina automáticamente.
"Todos los sitios tienen un problema de presupuesto."Para la mayoría de los sitios el tema no aplica; solo es notable en sitios muy grandes o que cambian muy rápido.
"Enviar el mapa del sitio con frecuencia aumenta el rastreo."El mapa del sitio ayuda a descubrir páginas, pero no fuerza el rastreo. Lo importante es que sea correcto y esté actualizado.

Todos estos pasos forman parte de su auditoría técnica; para un orden general de comprobación, use nuestra lista de control de SEO técnico. En sitios generados con JavaScript, el rastreo y el procesamiento requieren además más tiempo, así que también le convendrá revisar los fundamentos del SEO para JavaScript. La guía oficial de Google está en la página sobre gestión del presupuesto de rastreo en sitios grandes.

Preguntas frecuentes

¿Cómo puedo saber cuál es mi presupuesto de rastreo?

No existe una cifra fija. El informe de Estadísticas de rastreo de Search Console muestra el número diario de solicitudes, y los registros del servidor dan el detalle por dirección.

Para un sitio pequeño, ¿es importante el presupuesto de rastreo?

Normalmente no. En sitios de hasta unos pocos miles de páginas, el foco debe estar en la calidad del contenido, el enlazado interno y la salud técnica básica.

Si bloqueo una página con robots.txt, ¿desaparece del índice?

No. Robots.txt impide el rastreo, pero si esa dirección recibe enlaces externos puede permanecer en el índice. Para sacarla del índice se usa noindex, y para eso la página tiene que poder rastrearse.

¿Acelerar mi servidor aumenta el presupuesto?

Cuando el tiempo de respuesta se reduce, Google puede rastrear más páginas en el mismo tiempo, lo que da potencial para que el límite de capacidad suba; pero no es un resultado garantizado.

Conclusión

El presupuesto de rastreo es un tema real que los sitios grandes deben gestionar, y un concepto que los sitios pequeños normalmente no deben perseguir. Evalúe según el tamaño de su sitio: si es grande, vigile las estadísticas de rastreo y los registros y reduzca las direcciones innecesarias; si es pequeño, dedique su energía al contenido y a los enlaces internos. En ambos casos, un servidor rápido, una estructura de URL limpia y un mapa del sitio actualizado facilitan el trabajo de Googlebot. Para ver qué puede construir sobre esa base técnica para aumentar su visibilidad, consulte nuestro artículo sobre métodos para aumentar el tráfico orgánico.

¿Le faltan clics en su palabra clave?

HitBot genera sesiones reales que buscan la palabra clave objetivo, encuentran su sitio y hacen clic en él. El resultado se acumula en Search Console como impresiones y clics.

Otros artículos