Pular para o conteúdo
PT · $
Acesso ao painel Comprar pacote
SEO Técnico

Orçamento de Rastreamento (Crawl Budget): O Que É e Quem Precisa?

6 minutos de leitura

O orçamento de rastreamento (crawl budget) é a quantidade de páginas que o Googlebot está disposto a rastrear em seu site em determinado período. Para a maioria dos sites pequenos e médios, esse tema não é um problema; a própria documentação do Google diz isso claramente. Já para lojas virtuais, portais de classificados e sites de notícias com centenas de milhares de endereços, o orçamento de rastreamento pode determinar a velocidade com que novas páginas são descobertas. Este artigo explica, sem exageros, a quem o tema interessa, o que desperdiça o orçamento e quais passos realmente funcionam.

O que é o orçamento de rastreamento?

O Googlebot não rastreia todos os endereços do seu site todos os dias. Seus recursos são limitados e são divididos entre bilhões de sites. A quantidade de rastreamento destinada a um site é chamada, informalmente, de orçamento de rastreamento. O ponto importante: o orçamento não é um fator de posicionamento. Ser rastreado com mais frequência não significa estar em posição mais alta; significa apenas que suas páginas podem ser descobertas e atualizadas mais rapidamente.

Dois componentes: capacidade de rastreamento e demanda

ComponenteSignificadoDepende de quê?
Limite de capacidade de rastreamentoQuantas requisições simultâneas o Googlebot pode fazer sem sobrecarregar o seu servidorTempo de resposta do servidor, taxa de erros (5xx), recursos de hospedagem
Demanda de rastreamentoO quanto o Google quer rastrear o seu siteTamanho do site, popularidade, frequência de alteração do conteúdo e situação de conteúdo "desatualizado"

A quantidade real de rastreamento é o menor dos dois valores. Se o seu servidor fica lento ou apresenta muitos erros 5xx, o Google reduz a capacidade. Se as suas páginas têm baixa qualidade e não despertam interesse, a demanda já será baixa. Ou seja, para aumentar a capacidade, o desempenho da hospedagem é decisivo; para aumentar a demanda, a qualidade do conteúdo e a popularidade são decisivas.

Quem deve se preocupar com isso?

Segundo o guia do Google para grandes proprietários de sites, a gestão do orçamento de rastreamento faz sentido nestes casos:

  • Sites com aproximadamente um milhão ou mais de páginas únicas, com conteúdo que muda com frequência média (por exemplo, semanalmente).
  • Sites com dez mil ou mais páginas, cujo conteúdo muda com muita frequência (diariamente).
  • Sites com grande quantidade de endereços no status "Descoberta - atualmente não indexada" no Search Console.

Um site institucional com centenas ou alguns milhares de páginas, um blog ou uma pequena loja não se enquadra nesse grupo. Nesses sites, quando uma nova página demora a ser indexada, a causa geralmente não é o orçamento de rastreamento, mas a qualidade do conteúdo, os links internos ou algum bloqueio técnico. Primeiro, elimine as causas listadas no nosso guia de problemas de indexação.

Nota honesta: em um site pequeno, tentar "aumentar o orçamento de rastreamento" costuma ser uma forma de resolver o problema errado. Antes, verifique se a página é rastreável, indexável e realmente valiosa.

O que desperdiça o orçamento de rastreamento?

As principais fontes de desperdício apontadas pelo Google são:

  • Combinações de filtros e ordenação (navegação facetada): quando, em uma categoria, se combinam opções de cor, tamanho, preço e ordenação, podem surgir milhares de endereços com parâmetros para a mesma lista de produtos.
  • IDs de sessão e parâmetros de rastreamento: estruturas que geram um URL diferente para cada visitante.
  • Conteúdo duplicado: a mesma página disponível em vários endereços. Para consolidar, veja a tag canonical.
  • Páginas soft 404 e 404: endereços inexistentes que continuam sendo rastreados. Veja erros 404 e SEO.
  • Cadeias longas de redirecionamento: cada etapa consome uma requisição separada. Veja a diferença entre 301 e 302.
  • Espaços infinitos: geração de URLs sem fim, como calendários e links de "próximo mês".
  • Páginas de baixa qualidade e finas: são rastreadas mas não entram no índice, consumindo o orçamento.
  • Servidor lento: quanto mais longo o tempo de resposta, menos páginas o Googlebot rastreia no mesmo intervalo.

Como medir?

  1. Relatório de estatísticas de rastreamento: no Search Console, o relatório "Estatísticas de rastreamento", na seção de Configurações, mostra o número diário de requisições, o tempo médio de resposta, a distribuição dos códigos de resposta e os tipos de arquivo. Comece observando variações repentinas no total de requisições e nas taxas de 5xx/404.
  2. Logs do servidor: são a única fonte que mostra com precisão quais endereços foram rastreados e com que frequência. Nelas você vê para quais endereços com parâmetros e para quais pastas o Googlebot mais se dirige.
  3. Relatório de páginas: o número e os endereços de exemplo dos status "Descoberta - atualmente não indexada" e "Rastreada - atualmente não indexada".
  4. Comparação com o sitemap: compare a quantidade de endereços no sitemap com a quantidade de endereços únicos rastreados que aparecem nos logs.

Exemplo de cenário: em uma loja com 20.000 produtos, se a maior parte das requisições do Googlebot nos logs vai para endereços com parâmetros como ?renk=...&beden=...&sirala=... e os produtos novos ficam dias sem entrar no índice, o problema provavelmente é que o orçamento está sendo gasto nas combinações de filtros. (Este é um exemplo hipotético; confirme com os logs do seu próprio site.)

Passos de otimização

  1. Gerencie o inventário de URLs. Bloqueie com robots.txt as áreas que não devem ser rastreadas (resultados da busca interna, combinações de filtros sem valor). Para saber como escrever as regras, consulte nosso guia de robots.txt.
  2. Consolide duplicatas. Reúna em um único endereço as URLs que levam ao mesmo conteúdo, usando redirecionamento ou canonical.
  3. Retorne 404 ou 410 para conteúdos excluídos permanentemente. O Google não esquece um endereço conhecido, mas o 404/410 é um sinal forte para reduzir o rastreamento.
  4. Elimine os soft 404. Páginas vazias ou que dizem "não encontrado" devem retornar o código de status real.
  5. Mantenha o sitemap atualizado. Inclua apenas os endereços que você quer indexados e que retornam 200, e faça o valor de lastmod corresponder a atualizações reais. Para detalhes, consulte nosso guia de sitemap XML.
  6. Encurte as cadeias de redirecionamento e aponte os links internos diretamente para o endereço final.
  7. Melhore o tempo de carregamento e a velocidade do servidor. À medida que o servidor fica mais rápido, o limite de capacidade pode subir. Cache e qualidade da hospedagem são determinantes aqui.
  8. Destaque as páginas importantes com links internos. Páginas próximas da página inicial e das páginas rastreadas com frequência são descobertas mais facilmente. Nosso artigo sobre estratégia de links internos trata desse assunto.
  9. Monitore a saúde do servidor. Sobrecarga, respostas 5xx e 429 fazem o Googlebot desacelerar.

Exemplo: gerenciando uma página de categoria com filtros

A fonte mais típica dos problemas de orçamento de rastreamento é a navegação com filtros. Se, em uma categoria de calçados, cada combinação de cor, tamanho, marca e ordenação gera um endereço próprio, uma lista de cem produtos pode se transformar em milhares de endereços rastreáveis. Para decidir, faça esta pergunta: as pessoas realmente pesquisam por esta combinação de filtros?

  • Sim (ex.: "tênis preto esportivo"): desenvolva a página como destino próprio, com título, descrição e conteúdo exclusivos, reforce com links internos e mantenha-a rastreável.
  • Não (ex.: "tamanho 42 + preço crescente"): limite o rastreamento com robots.txt ou impeça que esses endereços sejam gerados em massa por links na página; aponte o canonical para a categoria principal.
  • Parâmetros de ordenação e de sessão nunca devem estar no índice; todos devem ser consolidados em um único endereço.

Observação: o Google não consegue ver a tag canonical de endereços bloqueados pelo robots.txt. Por isso, não confie ao mesmo tempo em bloqueio e canonical para os mesmos endereços; decida conscientemente qual dos dois usar.

Mitos comuns

Crença comumRealidade
"Noindex economiza orçamento de rastreamento."Não. O Googlebot ainda solicita a página com noindex; ele apenas não a coloca no índice. Para reduzir o rastreamento use robots.txt; para retirar do índice use noindex. Conheça a diferença entre os dois.
"Se for rastreado mais, vou ser melhor posicionado."A quantidade de rastreamento não é um sinal de posicionamento.
"Posso aumentar a velocidade de rastreamento pelo Search Console."O Google removeu a antiga ferramenta de limitação de velocidade de rastreamento; a velocidade é definida automaticamente.
"Todo site tem problema de orçamento."Para a maioria dos sites o assunto não se aplica; ele só é evidente em sites muito grandes ou que mudam muito rapidamente.
"Enviar o sitemap com frequência aumenta o rastreamento."O sitemap ajuda na descoberta, mas não força o rastreamento. O importante é que o sitemap esteja correto e atualizado.

Todos esses passos fazem parte da sua auditoria técnica; para uma ordem geral de verificação, use nossa lista de verificação de SEO técnico. Em sites gerados com JavaScript, rastreamento e renderização levam mais tempo, por isso vale também olhar nosso artigo sobre fundamentos de SEO para JavaScript. A orientação oficial do Google está na página sobre gerenciamento de orçamento de rastreamento para sites grandes.

Perguntas frequentes

Como descubro meu orçamento de rastreamento?

Não existe um número fixo. O relatório de Estatísticas de rastreamento do Search Console mostra o número diário de requisições; já os logs do servidor oferecem o detalhe por endereço.

O orçamento de rastreamento é importante para um site pequeno?

Geralmente, não. Em sites de até alguns milhares de páginas, o foco principal deve ser a qualidade do conteúdo, os links internos e a saúde técnica básica.

Uma página bloqueada no robots.txt sai do índice?

Não. O robots.txt impede o rastreamento, mas se o endereço recebe links externos ele pode continuar no índice. Para retirar do índice, use noindex, e para isso a página precisa ser rastreável.

Acelerar o servidor aumenta o orçamento?

Quando o tempo de resposta diminui, o Google pode rastrear mais páginas no mesmo intervalo, o que dá potencial para aumentar o limite de capacidade; porém, isso não é um resultado garantido.

Conclusão

O orçamento de rastreamento é um tema real que os grandes sites precisam gerenciar, e um conceito que os sites pequenos normalmente não precisam perseguir. Avalie de acordo com o tamanho do seu site: se ele é grande, acompanhe as estatísticas de rastreamento e os logs e reduza os endereços desnecessários; se é pequeno, direcione sua energia para conteúdo e links internos. Em ambos os casos, um servidor rápido, uma estrutura de URL limpa e um sitemap atualizado facilitam o trabalho do Googlebot. Para ver o que pode ser construído sobre essa base técnica para aumentar a visibilidade, consulte nosso artigo sobre métodos para aumentar o tráfego orgânico.

Faltam cliques na sua palavra-chave?

O HitBot gera sessões reais que pesquisam a palavra-chave que pretende, encontram o seu site e clicam nele. O resultado acumula-se no Search Console como impressões e cliques.

Outros artigos