Pular para o conteúdo
PT · ₺
Acesso ao painel Comprar pacote
SEO técnico

O que é robots.txt e como escrevê-lo? Exemplos e erros comuns

6 minutos de leitura

O robots.txt é um pequeno arquivo de texto, colocado na raiz do seu site, que diz aos robôs dos mecanismos de busca quais endereços eles podem acessar e quais não devem acessar. Uma única linha errada pode impedir o rastreamento de todo o site; um arquivo bem escrito, por outro lado, direciona os recursos de rastreamento para as páginas importantes. Neste guia, explicamos para que serve o arquivo robots.txt, como escrevê-lo, quais diretivas são suportadas pelo Google e os erros mais comuns, com exemplos.

O que é o robots.txt?

O robots.txt é o arquivo do padrão conhecido como "Protocolo de Exclusão de Robôs". Ele está em formato de texto simples (UTF-8) e deve ficar obrigatoriamente na raiz do domínio: https://www.exemplo.com.br/robots.txt. Um robots.txt colocado em uma subpasta não é considerado. Cada subdomínio (por exemplo blog.exemplo.com.br) e cada combinação de protocolo/porta precisa de um arquivo próprio.

A finalidade do arquivo é gerenciar o tráfego de rastreamento: impedir que os robôs percam tempo em áreas sem valor, como painel administrativo, carrinho, resultados de busca interna ou infinitas combinações de endereços com filtros. Não é uma ferramenta de segurança; qualquer pessoa pode ler o arquivo, então escrever nele o nome de uma pasta que você quer manter oculta só serve para expô-la. Para conteúdo confidencial, use senha ou autenticação.

Como os mecanismos de busca usam o robots.txt?

Antes de rastrear qualquer página de um site, o robô solicita o arquivo robots.txt e lê as regras nele contidas. As regras são agrupadas por "user-agent" (agente do usuário); o robô escolhe o grupo mais adequado a ele e aplica apenas esse grupo. Alguns detalhes importantes:

  • Se o arquivo não for encontrado (resposta 4xx, como 404), o Google interpreta que não há restrições e rastreia o site livremente.
  • Se o servidor responder com erro 5xx, o Google reduz ou interrompe o rastreamento com cautela; por isso, é importante que o endereço do robots.txt responda de forma saudável.
  • O Google processa apenas os primeiros 500 KiB do arquivo; arquivos muito grandes são cortados.
  • As regras de caminho diferenciam maiúsculas de minúsculas: /Admin/ e /admin/ são caminhos diferentes.
  • O Google não baixa o arquivo a cada requisição; ele o mantém em cache. O efeito de uma alteração não aparece imediatamente, mas depois de algum tempo.

Sintaxe básica e diretivas

As diretivas que o Google suporta se limitam a quatro. A tabela a seguir resume para que serve cada uma.

DiretivaO que faz?Exemplo
User-agentIndica a qual robô a regra se aplica; * significa todos os robôs.User-agent: Googlebot
DisallowImpede o rastreamento do caminho indicado.Disallow: /carrinho/
AllowPermite um caminho específico dentro de uma pasta bloqueada.Allow: /carrinho/ajuda.html
SitemapInforma o endereço completo do arquivo de sitemap; é independente dos grupos.Sitemap: https://www.exemplo.com.br/sitemap.xml

Dois curingas podem ser usados: * (qualquer sequência de caracteres) e $ (fim do endereço). Por exemplo, Disallow: /*.pdf$ abrange todo caminho que termina em .pdf, e Disallow: /*?ordenar= abrange os endereços com o parâmetro "ordenar". Se um endereço corresponde a uma regra Allow e também a uma regra Disallow, o Google aplica a regra mais específica (a mais longa).

Não suportados: o Crawl-delay é ignorado pelo Google (alguns outros mecanismos de busca podem lê-lo). A linha Noindex também deixou de valer no robots.txt desde 2019. Para remover da indexação, é preciso adicionar à página uma meta tag noindex ou um cabeçalho HTTP.

Exemplo de arquivo robots.txt

Para um site corporativo ou uma pequena loja virtual, um modelo inicial razoável pode ser este:

User-agent: *
Disallow: /administracao/
Disallow: /carrinho/
Disallow: /pagamento/
Disallow: /busca/
Disallow: /*?ordenar=
Disallow: /*?sessao=

Sitemap: https://www.exemplo.com.br/sitemap.xml

Esse arquivo impede que todos os robôs rastreiem as páginas de administração, carrinho, pagamento e busca interna, além dos endereços com parâmetros de ordenação e sessão; todo o resto é permitido. Em um site WordPress, o par Disallow: /wp-admin/ e Allow: /wp-admin/admin-ajax.php é uma regra comum. Para descobrir quais caminhos não têm valor no seu site, primeiro observe as estatísticas de rastreamento do Search Console e os logs do servidor; modelos prontos copiados sem essa análise costumam bloquear mais do que o necessário.

Regras diferentes para robôs diferentes

Você pode definir mais de um grupo no arquivo. Cada grupo começa com uma ou mais linhas User-agent, seguidas das regras. O robô escolhe apenas um grupo, o mais adequado ao seu nome; ele não acrescenta as regras do grupo geral (*). Por isso, ao escrever um grupo para um robô específico, você precisa repetir no grupo as regras comuns que ele também deve seguir.

User-agent: *
Disallow: /administracao/
Disallow: /busca/

User-agent: Googlebot-Image
Disallow: /imagens-restritas/
Disallow: /administracao/

Sitemap: https://www.exemplo.com.br/sitemap.xml

No exemplo acima, o Googlebot-Image aplica apenas o próprio grupo; por isso, a regra /administracao/ também aparece nele. Deixar linhas em branco entre os grupos melhora a legibilidade. Você pode escrever comentários começando a linha com #; essas linhas são ignoradas. Evite deixar regras desnecessárias: um robots.txt sem manutenção, inchado ao longo dos anos, vira uma fonte de risco em que ninguém sabe por que uma regra está lá. Escrever ao lado de cada regra um breve comentário com o motivo é um bom hábito.

Bloquear o rastreamento não é o mesmo que remover do índice

Este é o ponto mais confundido. O robots.txt restringe apenas o rastreamento. Se um endereço bloqueado recebe links de outros sites ou de links internos, o Google ainda pode indexá-lo sem nunca ver o conteúdo; nos resultados, ele aparece apenas com o endereço, sem descrição. Pior ainda: se você bloqueia uma página no robots.txt e também coloca noindex nela, o Google não consegue acessar a página e, portanto, nunca vê o noindex.

Seu objetivoMétodo correto
Não gastar orçamento de rastreamento em endereços sem valorDisallow no robots.txt
A página não deve aparecer nos resultados de buscaDeixar a página acessível para o rastreamento e usar a meta tag noindex
O conteúdo deve ficar oculto de todosSenha/autenticação (o robots.txt não oferece segurança)
Unir os sinais de cópias de endereçosRedirecionamento 301 ou canonical (veja nosso guia de canonical)

Site pequeno ou grande? Em um site com algumas centenas de páginas, o efeito do robots.txt na eficiência do rastreamento é limitado; seu valor real está em deixar de fora as áreas erradas e em divulgar o sitemap. Já para lojas virtuais com filtros ou portais de anúncios com centenas de milhares de endereços, tirar do rastreamento as combinações de endereços desnecessárias faz uma diferença real.

Erros mais comuns

  1. Bloquear o site inteiro. A linha Disallow: / pode chegar junto com arquivos de ambiente de desenvolvimento quando o site é levado para produção, e o site fica impedido de ser rastreado. Ao publicar uma nova versão, sempre verifique o robots.txt.
  2. Bloquear as pastas de CSS e JavaScript. O Google precisa desses arquivos para renderizar a página e avaliar a compatibilidade com dispositivos móveis. Se forem bloqueados, a página pode parecer incompleta.
  3. Bloquear endereços que estão no sitemap. Dizer "indexe isto" de um lado e "não entre" do outro é contraditório; o Search Console mostra isso como um aviso.
  4. Escrever noindex no robots.txt. Como explicado acima, isso não funciona mais.
  5. Colocar o arquivo no lugar errado. Se o arquivo não estiver na raiz, ou se o nome for diferente, como Robots.TXT, a regra não é considerada.
  6. Escrever um caminho amplo demais. Disallow: /produto não bloqueia apenas a pasta "produto", mas também /produtos/ e /produto-detalhe.html e todo endereço que começa com "/produto". Se você quer se referir a uma pasta, termine o caminho com barra.
  7. Bloquear páginas para o rastreamento e depois esperar um 301. Se você bloqueia endereços antigos que deveriam ser redirecionados, o robô não consegue ver o redirecionamento.

Testes antes de publicar

Antes de alterar o arquivo, faça backup da versão atual. Depois, siga estes passos:

  1. Abra o arquivo no navegador (/robots.txt) e confirme que ele é carregado como texto simples, com código de status 200.
  2. No Search Console, abra o relatório Configurações → robots.txt; ele mostra a versão mais recente baixada pelo Google, além de erros de sintaxe e avisos.
  3. Para algumas páginas importantes, use a ferramenta Inspeção de URL; se aparecer "bloqueada pelo robots.txt", revise a regra.
  4. Na semana seguinte à publicação, observe no relatório de Páginas se a quantidade sob o título "bloqueada pelo robots.txt" aumentou de forma inesperada. Para o diagnóstico de problemas gerais de indexação, nosso guia de problemas de indexação do Google será útil.

Para a documentação oficial, consulte o guia de robots.txt do Google Search Central. O robots.txt é apenas um item da verificação geral de saúde do site; para todos os itens, use nossa checklist de SEO técnico.

Perguntas frequentes

O robots.txt é obrigatório?

Não. Sem o arquivo, os robôs rastreiam o site livremente. No entanto, se houver áreas que você quer bloquear ou se quiser informar o endereço do sitemap, criá-lo é útil.

Quando uma alteração no robots.txt passa a valer?

O Google mantém o arquivo em cache e normalmente o atualiza em até um dia; ou seja, o efeito pode aparecer entre algumas horas e um dia. Em caso de urgência, é possível solicitar um novo rastreamento pelo relatório de robots.txt do Search Console.

Posso bloquear os robôs de IA pelo robots.txt?

Para robôs que seguem as regras, sim; cada robô tem seu próprio nome de user-agent e pode ser escrito como um grupo separado. Porém, o robots.txt é um pedido, não uma imposição; robôs que não seguem as regras não são impedidos por ele.

Por que a página que bloqueei com Disallow ainda aparece no Google?

Porque o Disallow não é um comando de remoção do índice. O endereço pode aparecer como listagem sem conteúdo, já que recebe links de outros lugares. Solução: remover o bloqueio e adicionar noindex à página, ou excluir a página por completo.

Conclusão

O robots.txt é um arquivo pequeno, mas seus efeitos são grandes. A regra é simples: bloqueie apenas as áreas que realmente não têm valor, não mexa nos arquivos CSS/JS, inclua o endereço do sitemap e não o use como forma de remover páginas do índice. Depois de cada publicação, confirme o arquivo no Search Console e verifique se as páginas importantes podem ser rastreadas; isso evita a maioria dos problemas graves logo no início. Como próximo passo, para preparar o seu arquivo de sitemap, siga para o nosso guia de sitemap XML.

Faltam cliques na sua palavra-chave?

O HitBot gera sessões reais que pesquisam a palavra-chave que pretende, encontram o seu site e clicam nele. O resultado acumula-se no Search Console como impressões e cliques.

Outros artigos