Ir para o conteúdo
CL3 Marketing Orçamento grátis

Quais robôs de IA liberar ou bloquear no robots.txt do seu site


Em 30 segundos

  • Bloquear o GPTBot só tira o texto do treino da OpenAI; quem faz o site aparecer na busca do ChatGPT é o OAI-SearchBot.
  • O Google-Extended não afeta a Pesquisa: a Visão Geral criada por IA e o Modo IA dependem do Googlebot e dos controles nosnippet e noindex.
  • Para quem vende serviço, liberar os robôs de busca e de consulta costuma ser a escolha certa; o treino é uma decisão à parte.
  • Confira o arquivo em seudominio.com.br/robots.txt: um Disallow: / sob User-agent: * bloqueia todos, Googlebot incluído.

No robots.txt, cada robô de IA tem uma função, e bloquear todos costuma tirar o site das respostas que trazem cliente. Para a maioria das empresas, o sensato é liberar os robôs de busca e de consulta (OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot) e decidir à parte sobre os de treino (GPTBot, ClaudeBot, Google-Extended).

O que cada robô de IA faz, nas palavras da própria empresa

Os nomes se parecem, mas os papéis são diferentes, e é dessa confusão que nascem os bloqueios errados. Cada empresa publica a lista dos seus robôs e diz para que serve cada um: a OpenAI, a Anthropic, a Perplexity e o Google. A tabela resume o que cada uma diz e o efeito de bloquear.

RobôEmpresaPara que serveSe você bloquear
GPTBotOpenAIColeta conteúdo que pode ser usado para treinar os modelosO texto sai da coleta para treino; a presença na busca do ChatGPT não depende dele
OAI-SearchBotOpenAIFaz o site aparecer nos resultados de busca do ChatGPTO site não aparece nas respostas do ChatGPT search
ChatGPT-UserOpenAIVisita páginas a pedido de um usuárioSegundo a OpenAI, não é ele que decide o que aparece na busca
ClaudeBotAnthropicColeta conteúdo que pode contribuir para treinamentoO material futuro do site fica fora do treinamento
Claude-SearchBotAnthropicNavega para melhorar os resultados de buscaPode reduzir a visibilidade do site nas respostas
Claude-UserAnthropicAcessa o site quando um usuário faz uma perguntaPode reduzir a visibilidade em buscas feitas pelo usuário
PerplexityBotPerplexityMostra e linka sites nos resultados; não é usado para treinar modelosO site perde o robô que o mostra e linka; a Perplexity recomenda permitir
Perplexity-UserPerplexityVisita a página quando um usuário pergunta e pode pôr o link na respostaA página perde essa visita, que poderia virar link
Google-ExtendedGoogleControla o uso do conteúdo para treinar o Gemini e fundamentar respostas no app Gemini e na Vertex AINão afeta a inclusão na Pesquisa Google nem é sinal de classificação
GooglebotGoogleRastreia para a Pesquisa e os recursos dela, como a Visão Geral criada por IA e o Modo IAA página deixa de ser rastreada para a Pesquisa inteira

A tabela separa dois grupos. Os de treino (GPTBot, ClaudeBot e o token Google-Extended) decidem se o seu texto entra na formação dos modelos. Os de busca e de consulta (OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User e Googlebot) decidem se o seu site pode aparecer, com link, quando alguém pergunta. Para uma empresa que vende serviço, é o segundo grupo que traz cliente. Se o arquivo ainda é novidade, o básico está em robots.txt: o que é e para que serve; se você quer saber agora o que o seu diz, a análise de site da CL3 confere de graça.

Bloquear o GPTBot tira o site do ChatGPT?

Não: segundo a OpenAI, cada configuração é independente, e bloquear o GPTBot só impede a coleta para treino; o site continua podendo aparecer na busca do ChatGPT enquanto o OAI-SearchBot estiver liberado. O risco está no caminho contrário. Um tutorial manda "bloquear as IAs", alguém copia uma lista pronta com todos os nomes da tabela, e o OAI-SearchBot vai junto. A partir daí o site não aparece nas respostas do ChatGPT search, e o dono costuma descobrir quando pergunta pelo próprio serviço e vê o concorrente citado no lugar.

A OpenAI avisa também que mudanças no robots.txt levam cerca de 24 horas para valer; a Perplexity fala em até 24 horas. Então, depois de corrigir o arquivo, espere um dia antes de testar. O passo a passo para ver se a empresa aparece está em como fazer a sua empresa aparecer no ChatGPT.

O Google-Extended controla a Visão Geral criada por IA?

Não: o Google-Extended controla o uso do conteúdo para treinar os modelos Gemini e para fundamentar respostas no app Gemini e na Vertex AI, e não muda nada na Pesquisa; quem decide a presença na Pesquisa, inclusive na Visão Geral e no Modo IA, é o Googlebot. É a confusão mais cara do arquivo, porque leva a duas decisões erradas. Quem quer sair da Visão Geral bloqueia o Google-Extended e nada acontece. Quem quer "proteger o conteúdo" bloqueia o Googlebot e some do Google inteiro.

Na página recursos de IA e o seu site, o Google diz que não há requisito adicional para aparecer na Visão Geral criada por IA ou no Modo IA: a página precisa estar indexada e poder aparecer na Pesquisa com trecho (o snippet). Os controles que valem para esses recursos são as regras nosnippet, data-nosnippet, max-snippet e noindex, as mesmas que regulam o trecho do resultado comum. Quem quer limitar o que o Google mostra encontra o caminho no post sobre o controle que tira o site das respostas de IA.

A decisão certa depende do que você quer da IA

Em vez de copiar o arquivo de outro site, comece pelo objetivo. A tabela cobre os quatro casos mais frequentes em empresa pequena e média.

Seu objetivoLiberarBloquearDo que você abre mão
Ser encontrado e citado quando o cliente perguntaTodos os da tabela anteriorNenhumO texto pode entrar no treino dos modelos
Aparecer nas respostas sem ceder texto para treinoOAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, GooglebotGPTBot, ClaudeBot, Google-ExtendedA fundamentação de respostas no app Gemini e na Vertex AI
Proteger material pago (curso, relatório, área do cliente)Os de busca nas páginas de vendaTodos na pasta do material, que também deve ficar atrás de loginNada nas páginas públicas
Ficar fora das respostas de IAGooglebot, se quiser seguir na PesquisaOs demais da tabelaNo Google, o controle é por nosnippet e max-snippet, que também afetam o resultado comum

Para quem vende serviço, como uma clínica, uma construtora ou uma consultoria, a primeira linha costuma ser a escolha certa: o texto do site existe para ser encontrado, e ser lido pela IA faz parte disso. A segunda linha serve a quem produz conteúdo autoral com valor próprio (um blog técnico, um material de referência) e prefere não ceder o texto para treino. Em qualquer caso, o robots.txt é um aviso para os robôs, não uma tranca: conteúdo que não pode vazar fica atrás de senha.

Como ficam as linhas no arquivo

O robots.txt fica na raiz do domínio (seudominio.com.br/robots.txt) e vale só para aquele endereço. A Anthropic lembra que o bloqueio é feito por subdomínio, então loja.seudominio.com.br precisa do próprio arquivo. Cada bloco começa com o nome do robô e diz o que ele não pode ler. Para a segunda linha da tabela de objetivos, o trecho de treino fica assim:

User-agent: GPTBot

Disallow: /

User-agent: ClaudeBot

Disallow: /

User-agent: Google-Extended

Disallow: /

Os robôs que não aparecem com nome próprio seguem a regra geral, a do bloco "User-agent: *". E é nele que mora o maior perigo: um "Disallow: /" logo abaixo do asterisco bloqueia todo mundo, Googlebot incluído. É a linha que sites em construção usam para não aparecer antes da hora, e que às vezes fica esquecida quando o site vai ao ar. Se o seu site tem pouca visita desde o lançamento, abra o arquivo antes de qualquer outra suspeita; o resto da conferência técnica está no checklist de SEO técnico.

Como saber se o seu robots.txt bloqueia a IA sem ninguém ter decidido?

Abra seudominio.com.br/robots.txt no navegador e procure três coisas: os nomes da tabela seguidos de "Disallow: /", um "Disallow: /" sob "User-agent: *" e regras que você não reconhece. Se aparecer um bloqueio que ninguém da empresa pediu, alguém decidiu por você: o tema do site, um plugin, a hospedagem ou quem fez o site. Há serviços de hospedagem e de proteção com opção de barrar robôs de IA, e esse bloqueio às vezes nem aparece no arquivo, porque acontece no servidor. Nesse caso, quem cuida da hospedagem precisa olhar as regras de lá.

A conferência sem abrir arquivo nenhum é a análise gratuita, explicada no fim deste texto: entre as verificações do grupo de GEO está justamente se os robôs de IA estão liberados no robots.txt.

Um llms.txt resolve no lugar do robots.txt?

Não: são arquivos diferentes, e o Google lista o llms.txt entre as práticas que não fazem diferença para os recursos de IA da busca. No guia de otimização para recursos de IA, o arquivo aparece na seção de mitos, e a página de recursos de IA diz que não é preciso criar arquivo de IA nem marcação especial. O robots.txt, ao contrário, decide quem pode ler o site. O que se sabe do llms.txt nas outras plataformas está em llms.txt funciona?

Liberar o robô é o começo, e a análise da CL3 mostra o resto

Robô liberado só dá à IA a chance de ler o site. O próprio Google diz que não há requisito extra para os recursos de IA, então o que decide se a página vira resposta é o de sempre: conteúdo útil, técnica limpa e dados consistentes. Desconfie de quem promete citação garantida ou vende um arquivo mágico.

A análise de site da CL3 dá uma nota de 0 a 100 para qualquer endereço, sem cadastro, e separa as verificações em grupos. O grupo "As IAs citam seu site? (GEO)" confere seis pontos:

  • robôs de IA liberados no robots.txt;
  • títulos que respondem perguntas;
  • perguntas frequentes no site;
  • datas de publicação ou atualização;
  • conteúdo escaneável, com subtítulos seguidos de listas ou tabelas;
  • entidade identificada, ou seja, quem assina o site.

Outro grupo, "Vira resposta pronta? (AEO)", olha se há resposta direta abaixo dos títulos em forma de pergunta, números no texto, listas ou tabelas e fontes citadas com link. Se a nota mostrar um problema maior que o arquivo, a consultoria de marketing digital cruza a ferramenta própria de 50 verificações de SEO e GEO com a leitura comercial do negócio e entrega um plano com prioridades. Quando o site precisa ser refeito, os sites institucionais já saem com robôs de IA liberados, sitemap e Search Console configurados. Para saber quem está por trás disso, conheça a CL3; para começar, rode a análise de site grátis no endereço da sua empresa.

Perguntas frequentes

Quanto tempo leva para o robots.txt novo valer para as IAs?

A OpenAI informa cerca de 24 horas para as mudanças no robots.txt valerem, e a Perplexity fala em até 24 horas. Depois disso, cada plataforma ainda precisa passar de novo pelas páginas. Espere pelo menos um dia antes de testar e repita o teste depois de algumas semanas.

Bloquear o ClaudeBot apaga o que a Anthropic já coletou do meu site?

A Anthropic diz que bloquear o ClaudeBot exclui do treinamento o material futuro do site, ou seja, vale dali para frente. O bloqueio é feito no robots.txt da raiz de cada subdomínio. Para seguir aparecendo nas buscas feitas no Claude, mantenha liberados o Claude-SearchBot e o Claude-User.

Minha loja está numa plataforma pronta. Consigo editar o robots.txt?

Depende da plataforma: algumas deixam editar o arquivo pelo painel, outras geram um padrão que o lojista não muda. Abra seudominio.com.br/robots.txt e veja o que está lá; se houver bloqueio que você não quer, fale com o suporte. A análise de site da CL3 mostra se os robôs de IA estão liberados.

Fontes citadas

Os documentos em que este artigo se apoia, na ordem em que aparecem no texto. Abra e confira.

  1. OpenAI Robôs de rastreamento
  2. Anthropic Robôs do Claude
  3. Perplexity Robôs
  4. Google Rastreadores comuns (Google-Extended)
  5. Google Recursos de IA e o seu site
  6. Google Otimização para recursos de IA
Compartilhar no WhatsApp Marcar a CL3 como fonte preferida no Google

Pronto para ter um site que trabalha pela sua empresa?

Conte o que a sua empresa faz e a gente responde com uma proposta clara, sem enrolação.

Solicitar atendimento