IA e Internet
O ChatGPT respeita o robots.txt? O que cada robô de IA diz na própria documentação
Em 30 segundos
- OAI-SearchBot e GPTBot são controlados pelo robots.txt; o ChatGPT-User, que age a pedido de uma pessoa, pode não seguir as regras, segundo a OpenAI.
- A Perplexity diz que o Perplexity-User em geral ignora o arquivo, e o Google tem buscadores acionados pelo usuário que também ignoram.
- Para esconder uma página de verdade, use login, noindex (no Google) ou regra de firewall: o robots.txt não é mecanismo de proteção.
- Bloquear os robôs de busca tira o site das respostas; bloquear só os de treinamento é uma decisão separada.
O ChatGPT respeita o robots.txt em parte. Pela documentação da OpenAI, o robô de busca (OAI-SearchBot) e o de treinamento (GPTBot) são controlados por esse arquivo, mas o ChatGPT-User, que busca uma página porque alguém pediu naquele momento, pode não seguir as regras. Cada empresa de IA divide os robôs assim, e a conta muda de uma para outra.
Quais robôs de IA seguem o robots.txt e quais podem ignorá-lo?
Os robôs que rastreiam a web por conta própria seguem o robots.txt; os que buscam uma página específica porque um usuário pediu podem não seguir. A tabela resume o que cada empresa afirma na própria documentação, sem ler além do que está escrito lá.
| Empresa | Robô | Para que serve | E o robots.txt? |
|---|---|---|---|
| OpenAI | OAI-SearchBot | Faz o site aparecer na busca do ChatGPT | A OpenAI recomenda liberar; quem o bloqueia não aparece nas respostas de busca |
| OpenAI | GPTBot | Coleta conteúdo que pode treinar modelos | Bloquear indica que o conteúdo não deve servir para treinamento |
| OpenAI | ChatGPT-User | Age quando um usuário pede uma ação no ChatGPT | As regras do robots.txt podem não valer |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User | Treinamento, busca e acesso a pedido do usuário | A Anthropic diz que seus robôs respeitam os sinais de "não rastrear" do robots.txt |
| Perplexity | PerplexityBot | Mostra e linka sites nos resultados | A Perplexity recomenda permitir |
| Perplexity | Perplexity-User | Visita a página quando o usuário pergunta | Em geral ignora as regras |
| Googlebot | Rastreia para a Pesquisa | Segue as regras | |
| Buscadores acionados pelo usuário | Buscam algo pedido por quem usa um produto do Google | Em geral ignoram |
As fontes de cada linha: a página de robôs da OpenAI, a central de ajuda do Claude, o guia de robôs da Perplexity e a página do Google sobre buscadores acionados pelo usuário. A Anthropic fala do conjunto dos seus robôs e não detalha o caso do Claude-User separadamente, então vale tratá-lo com a mesma cautela dos outros robôs de pedido do usuário.
Por que um robô acionado por usuário pode passar por cima do robots.txt?
Porque as empresas tratam esse acesso como um pedido da pessoa, e não como rastreamento do robô. A OpenAI escreve que o ChatGPT-User não rastreia a web de forma automática e que, como a ação é iniciada pelo usuário, as regras do robots.txt podem não valer. O Google usa a mesma lógica: os buscadores acionados pelo usuário em geral ignoram o arquivo porque a busca foi pedida por uma pessoa. A Perplexity diz algo parecido do Perplexity-User.
A Meta segue o mesmo desenho, com a ressalva de que a regra geral vale para os robôs de rastreamento: na página de rastreadores da Meta, o meta-externalfetcher, que busca links a pedido do usuário, pode ignorar o robots.txt, e o facebookexternalhit pode ignorá-lo em verificações de segurança ou integridade.
Para o dono do site, o ponto é prático. Um Disallow no robots.txt é um pedido educado dirigido a robôs que rastreiam. Ele não funciona como tranca para quem foi mandado buscar uma página específica. Se a ideia de "tirar a minha página do ChatGPT" depende só dessa linha, ela não está garantida para o caso do pedido direto.
Se o robots.txt não é garantia, como fecho uma página para todo mundo?
Fechando o acesso na origem: com senha ou login, ou com uma regra de firewall, e não com o robots.txt. O próprio Google escreve, na introdução ao robots.txt, que o arquivo serve principalmente para controlar o tráfego de rastreamento e que não é um mecanismo para manter uma página fora do Google: para isso existem o noindex e a senha.
- Página que não deve ser vista por ninguém (área do cliente, proposta enviada por link, versão em teste): coloque atrás de login. Quem não tem a senha, pessoa ou robô, não lê.
- Página que existe, mas não deve aparecer no Google: use a meta tag noindex. Atenção: o Google só lê a regra se o robô puder acessar a página. Numa página bloqueada no robots.txt, a regra de noindex é ignorada, então bloquear e pôr noindex ao mesmo tempo atrapalha.
- Robô específico que insiste em entrar: regra no firewall ou no CDN, de preferência pelas faixas de IP que a empresa publica, porque o nome do robô pode ser imitado.
Um parêntese que costuma poupar dor de cabeça: páginas de busca interna do próprio site (aquelas que mostram resultados quando o visitante digita algo) geram endereços sem fim e merecem regra própria. O post sobre site com busca interna mostra quando faz sentido ter e como cuidar dela.
Vale a pena fechar o site inteiro para os robôs de IA?
Quase nunca, porque quem fecha deixa de aparecer onde o cliente já pergunta. A OpenAI diz que o site que bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT (só como link de navegação), e a Anthropic avisa que bloquear o Claude-SearchBot pode reduzir a visibilidade nas buscas. O bloqueio total tira você dessas respostas por escolha, não por acaso.
Separe duas decisões que costumam vir misturadas. A primeira é deixar os robôs de busca entrarem, para o site poder ser encontrado. A segunda é permitir ou não o treinamento de modelos, e essa é só sua: bloquear o GPTBot ou o ClaudeBot não tira o site da busca, segundo a OpenAI e a Anthropic. Quem quer proteger o texto do treinamento e continuar aparecendo bloqueia só os robôs de treinamento. O modelo completo desse arquivo está no post quais robôs de IA liberar ou bloquear.
E, se a sua dúvida é sobre o Google, a decisão tem um controle próprio: o controle de IA no Search Console existe justamente para quem quer ficar fora das respostas de IA do Google sem mexer no resto da Pesquisa.
Como conferir o robots.txt do seu site em cinco minutos?
Abra o arquivo no navegador e leia linha por linha, procurando regras mais amplas do que você queria. Digite seusite.com.br/robots.txt e confira:
- Se existe uma linha Disallow: / logo abaixo de User-agent: *. Ela barra todos os robôs que não têm regra própria.
- Se os nomes OAI-SearchBot, Claude-SearchBot e PerplexityBot aparecem com Disallow. Se aparecem, o site está fora das buscas dessas ferramentas.
- Se a regra de treinamento (GPTBot, ClaudeBot) é a que você escolheu, e não um resto de configuração antiga.
- Se o arquivo está no endereço certo: ele vale só para o host, o protocolo e a porta onde está, então um subdomínio precisa do próprio arquivo.
- Se o endereço do sitemap está lá, para os robôs acharem as páginas.
Depois da correção, espere até 24 horas: esse é o prazo informado por OpenAI, Perplexity e Meta para a mudança valer. O passo seguinte é testar se as respostas mudam, e o teste de 15 minutos no ChatGPT, no Gemini e no Perplexity serve para isso. Se o ChatGPT recebeu o pedido e deu erro, a causa pode estar além do robots.txt, e o roteiro está em seu site é legível para a IA: 7 verificações.
Há quem ache que basta o nome da empresa no Google para saber como o site está. Não basta, mas é um bom começo: o post pesquise o nome da sua empresa no Google mostra o que olhar, e os mitos de GEO explicam o que o robots.txt não faz (ele não faz a empresa ser citada, só deixa a porta aberta).
Quando conferir o robots.txt vira trabalho de quem faz o site
Conferir o arquivo é fácil. Difícil é saber se o resto do caminho está livre: CDN, firewall, plugin de segurança e texto legível no HTML. A análise de site grátis da CL3 dá uma nota de 0 a 100 para o seu endereço, sem cadastro, e tem um grupo de verificações de GEO que inclui justamente se os robôs de IA estão liberados no robots.txt. Leva poucos minutos e mostra por onde começar.
Se a conclusão for que o site precisa ser refeito ou reorganizado, os sites que a CL3 entrega saem com robôs de IA liberados, sitemap, Search Console e medição configurados, e com o texto escrito a partir de uma conversa com o dono. Para quem já tem site e quer um plano de prioridades, existe a consultoria de marketing digital. E, antes de qualquer conversa, vale testar o que já existe: rode a análise de site grátis da CL3 e leve a nota para a decisão.
Perguntas frequentes
Se eu bloquear o GPTBot, o ChatGPT deixa de mostrar meu site?
Não. A OpenAI trata cada configuração de forma independente: o GPTBot coleta conteúdo que pode treinar modelos, e o OAI-SearchBot é o que faz o site aparecer na busca do ChatGPT. Bloquear só o primeiro mantém o site elegível à busca. Já bloquear o OAI-SearchBot tira o site das respostas de busca. O arquivo completo está no post sobre robôs de IA no robots.txt.
Noindex e robots.txt juntos protegem melhor a página?
Ao contrário: atrapalham. O Google só lê a regra de noindex se o robô conseguir acessar a página, então, se ela estiver bloqueada no robots.txt, a regra é ignorada. Para tirar uma página do Google, deixe o acesso aberto e use noindex. Para ninguém ler, use senha. O post sobre robots.txt mostra os erros mais comuns do arquivo.
Como saber se um robô que aparece no meu registro é de verdade?
Pelo IP, não pelo nome. O nome do robô pode ser imitado. O Google ensina a conferir com DNS reverso e com listas de faixas de IP em JSON, e a OpenAI, a Anthropic e a Perplexity também publicam listas dos IPs dos robôs delas. Compare o IP do seu registro com a lista da empresa antes de liberar ou bloquear qualquer coisa.
Fontes citadas
Os documentos em que este artigo se apoia, na ordem em que aparecem no texto. Abra e confira.
- OpenAI Robôs de rastreamento
- Anthropic Robôs do Claude
- Perplexity Robôs
- Google Buscadores acionados pelo usuário
- Meta Rastreadores da web
- Google Introdução ao robots.txt
- Google Meta tag robots, data-nosnippet e X-Robots-Tag