SEO
Robots.txt: o que é, para que serve e os erros que escondem o site do Google
Em 30 segundos
- O robots.txt fica na raiz do site, é público e orienta quem rastreia, mas não decide sozinho o que aparece no Google.
- O erro mais caro é esquecer o bloqueio do site inteiro depois da publicação, e a conferência leva um minuto.
- Bloquear uma página no arquivo não garante que ela saia do Google, e esconder pasta confidencial ali expõe o endereço.
- Abra o arquivo no navegador e confira o bloqueio da raiz, as pastas bloqueadas e a indicação do sitemap.
Robots.txt é um arquivo de texto simples, na raiz do site, que diz aos robôs de busca quais partes podem ou não ser visitadas. Parece detalhe de programador, mas uma única linha errada nele pode esconder o site inteiro do Google, e isso acontece com mais frequência do que se imagina. Abaixo está o que o arquivo faz e os erros que mais custam visita e cliente.
O que é robots.txt e onde ele fica?
É um arquivo chamado robots.txt, que fica no endereço principal do site (seudominio.com.br/robots.txt) e traz instruções para os robôs de busca sobre onde eles devem ou não entrar. Qualquer pessoa consegue abri-lo digitando esse endereço no navegador, inclusive o concorrente. Se a página não existir, o robô entende que pode visitar tudo.
O conteúdo é curto. Uma linha indica a quem a regra vale, outras listam as pastas ou páginas liberadas ou bloqueadas, e é comum haver uma linha apontando para o mapa do site (o sitemap). Num site de empresa, o arquivo costuma servir a poucas coisas: não deixar o robô perder tempo em áreas internas, como painel de login, carrinho de compras e resultados de busca interna, e apontar para a lista de páginas que importam.
O ponto central é que o robots.txt orienta quem rastreia, não decide o que aparece no Google. Essa distinção explica quase todos os erros da lista a seguir.
Erro 1: deixar o site inteiro bloqueado depois da publicação
É o erro mais caro e o mais comum de quem troca de site. Durante a construção, é normal bloquear tudo para que o Google não encontre uma versão inacabada. O problema é esquecer de liberar quando o site vai ao ar. O sintoma: o site funciona para quem digita o endereço, mas nunca aparece em busca nenhuma, nem pelo nome da empresa.
Por que acontece: a equipe que monta o site e a que coloca no ar nem sempre são as mesmas, e ninguém tem esse item na lista de entrega. Como evitar: abra seudominio.com.br/robots.txt no dia da publicação e confira se não há uma linha bloqueando a raiz inteira do site. Em sites feitos em WordPress, confira também a opção que pede aos buscadores para não indexar o site, nas configurações de leitura. A CL3 inclui essa conferência na entrega, junto com a medição de visitas e contatos, e quem já tem site no ar pode pedir a análise de site grátis para ver se algo está travando a leitura pelo Google.
Erro 2: usar o robots.txt para esconder o que deveria ser protegido
O arquivo é público. Listar ali a pasta "/area-do-cliente" ou "/propostas-internas" é entregar um mapa do que você não quer que se veja. Quem tem más intenções lê o arquivo justamente por isso, e robô mal-intencionado ignora as regras.
Por que acontece: o dono acha que "bloquear" equivale a "proteger". Não equivale. Como evitar: o que é confidencial fica atrás de login ou fora do ar, e nunca apenas fora do robots.txt. Ele serve para organizar o rastreamento, não para segurança.
Erro 3: bloquear uma página para tirá-la do Google
Bloquear no robots.txt não garante que a página saia do Google, e pode até atrapalhar a remoção. O arquivo impede o robô de ler a página, mas o endereço ainda pode aparecer nos resultados, só que sem descrição, se outros sites apontarem para ele. Para pedir que uma página não seja listada, o caminho é a marcação "noindex" na própria página, e o robô precisa conseguir ler a página para enxergá-la.
Por que acontece: a sequência de ideias parece lógica ("não quero que apareça, então bloqueio"). Como evitar: para páginas antigas ou duplicadas, veja o artigo sobre como cadastrar o site no Google, que também explica o painel onde se acompanha o que foi lido e listado, e use redirecionamento quando existir uma página nova no lugar.
Erro 4: bloquear arquivos que a página precisa para ser entendida
Se o arquivo bloqueia as pastas de estilo, de scripts ou de imagens do site, o Google pode ver a página incompleta, sem layout. Isso atrapalha a avaliação, principalmente da versão para celular, que é a que o Google usa para classificar o site, como explica a documentação sobre indexação para dispositivos móveis.
Por que acontece: modelos antigos de robots.txt, copiados da internet, bloqueavam pastas inteiras do sistema por hábito. Como evitar: bloqueie só o que realmente não tem valor para quem busca (painel, carrinho, filtros que geram milhares de combinações) e deixe liberado tudo o que forma a página que o cliente vê.
Erro 5: copiar um robots.txt de outro site
As regras dependem do sistema e da estrutura de cada site. Um arquivo copiado de uma loja virtual, aplicado a um site institucional, bloqueia pastas que nem existem, ou pior: bloqueia as que existem. O que é seguro para um site pode ser fatal para outro.
Como evitar: peça a quem faz o site que explique, linha por linha, o que cada regra faz. Se a resposta for "é o padrão", desconfie. Um site institucional pequeno, em geral, funciona bem com um arquivo muito enxuto e a indicação do sitemap.
Erro 6: esquecer o mapa do site e acreditar em arquivos que não mudam nada
A linha que indica o sitemap ajuda o robô a encontrar as páginas importantes. Falta em muitos sites. Já a ideia de criar arquivos extras para "agradar" os mecanismos de IA, como o llms.txt, não tem respaldo: o guia do Google sobre recursos de IA da busca lista esse arquivo entre as práticas que não fazem diferença. Gaste a energia onde há efeito: páginas claras, texto útil e um site que carrega bem.
Como saber se o seu robots.txt está certo?
Abra o arquivo no navegador, leia as linhas e confira três coisas: se há bloqueio na raiz do site, se as pastas bloqueadas são mesmo áreas internas e se o sitemap está indicado. Depois, confirme se o site aparece quando você busca o nome da empresa entre aspas. Se não aparece, o problema pode estar no arquivo, na marcação "noindex" ou em páginas que o Google ainda não visitou.
Se o site já está no ar e nunca trouxe visita, vale ler também por que um site tem visitas e não tem clientes, que trata do problema oposto, e o que é uma URL amigável, outro ponto técnico simples de conferir. Quando houver visita, o caminho para medir contato está em como saber quantos contatos o site gerou.
Um diagnóstico rápido antes de mexer em qualquer arquivo
Se você não sabe ler o robots.txt do seu site, não precisa aprender. Peça a quem mantém o site que confirme os três pontos acima por escrito. Se não há ninguém para perguntar, a análise de site grátis da CL3 dá uma nota de 0 a 100 para o endereço, sem cadastro, e mostra pontos técnicos que merecem atenção. Se a conclusão for que o site precisa ser refeito, a CL3 conversa sobre isso e entrega uma proposta por escrito, com valor fechado. Para tirar dúvidas antes, a página de contato está aberta.
Perguntas frequentes
Todo site precisa de robots.txt?
Não é obrigatório. Sem o arquivo, o robô entende que pode visitar tudo, o que serve a muitos sites pequenos. Ele passa a fazer falta quando há áreas internas, carrinho de compras ou páginas geradas em excesso. Se existir, tem que estar certo, porque é um arquivo pequeno com efeito grande.
Como saber se o Google está bloqueado no meu site?
Abra seudominio.com.br/robots.txt no navegador e procure uma linha que bloqueie a raiz do site inteiro. Depois busque o nome da empresa no Google e veja se o site aparece. Se tiver dúvida, a análise de site da CL3 aponta problemas técnicos que podem esconder o site.
Robots.txt serve para proteger páginas privadas?
Não. O arquivo é público e qualquer pessoa pode lê-lo, então listar uma pasta ali revela o endereço. Conteúdo confidencial precisa ficar atrás de login ou fora do ar. O robots.txt serve para organizar o rastreamento dos robôs de busca, e não para segurança.
Fontes citadas
Os documentos em que este artigo se apoia, na ordem em que aparecem no texto. Abra e confira.