IA e Internet
Bytespider, CCBot e outros robôs no log do site: como identificar e o que fazer
Em 30 segundos
- O nome do robô no log pode ser imitado: confirme o IP com DNS reverso ou com a lista JSON publicada pela empresa.
- Os robôs conhecidos caem em três famílias: busca, treinamento e acesso a pedido do usuário; a tabela mostra onde cada empresa documenta.
- Sem página oficial, trate como robô de treinamento: bloqueie no robots.txt e, se ele ignorar, no firewall pelo IP verificado.
- Não bloqueie tudo que é desconhecido: regras largas barram também os robôs que trazem o site para as buscas.
Bytespider, CCBot e outros nomes que você não reconhece no log do site são robôs de rastreamento, e cada um cai numa de três famílias: busca, treinamento de modelos ou acesso a pedido de um usuário. O primeiro passo é confirmar o IP, porque o nome sozinho pode ser imitado. O segundo é decidir, família por família, quem entra.
O que é um robô que aparece no log do site e por que ele importa?
É um programa que visita as suas páginas sem ser uma pessoa, e o log do servidor registra cada visita com o nome que ele informou (o user agent). Você vê esse nome quando abre os registros de acesso da hospedagem. Alguns robôs são de empresas conhecidas e trazem benefício direto, como os que fazem o site aparecer nas buscas. Outros só consomem banda e coletam texto para treinar modelos de IA. E há os que não se identificam direito.
Dois motivos fazem o assunto valer cinco minutos do seu tempo. O primeiro é visibilidade: bloquear por engano um robô de busca tira o site de lugares onde o cliente pergunta. O segundo é controle: o texto que você escreveu pode estar sendo coletado para treinamento, e essa é uma escolha sua, não uma obrigação. O modelo de arquivo para decidir isso está em robôs de IA no robots.txt: liberar ou bloquear, e a base do arquivo em robots.txt: o que é e os erros que escondem o site.
Como saber se o robô é mesmo quem diz ser?
Compare o IP do registro com a lista oficial da empresa, nunca só o nome do robô. O nome vem de um campo que qualquer programa pode preencher como quiser. A página do Common Crawl, por exemplo, avisa que existem rastreadores que se passam falsamente por CCBot e recomenda conferir a autenticidade.
Há dois caminhos, ambos descritos pelas empresas. O primeiro é o manual: o Google ensina, no guia de verificação de rastreadores, a fazer um DNS reverso no IP do log, confirmar que o domínio devolvido pertence a googlebot.com, google.com ou googleusercontent.com e fazer o DNS direto para ver se volta ao mesmo IP. O segundo é o automático: comparar o IP com listas em JSON, que o Google publica para os rastreadores dele e que o Common Crawl, a OpenAI e a Anthropic também mantêm para os robôs delas.
- Quem tem acesso ao servidor: faz o teste de DNS reverso em dois comandos, ou pede ao suporte da hospedagem.
- Quem não tem: pede ao suporte da hospedagem que confira os cinco IPs que mais aparecem para o robô suspeito.
- Em qualquer caso: anote o IP, o horário, o nome do robô e as páginas visitadas. Isso sustenta a decisão e o pedido ao suporte.
A Anthropic faz uma ressalva que vale para todo mundo: bloquear por endereço de IP pode não funcionar de forma correta nem persistente. Por isso o bloqueio por IP fica como segunda camada, e o robots.txt vem primeiro.
Em que família cada robô conhecido cai e onde a empresa documenta?
Os robôs mais vistos nos logs se dividem em busca, treinamento e pedido de usuário, e quase todos têm uma página oficial. A tabela reúne os que mais aparecem e o endereço de cada documentação. Onde a coluna diz "sem página conferida", eu não encontrei uma documentação oficial para citar.
| Robô | Empresa | Família | Onde a empresa documenta |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Busca | developers.openai.com, robôs |
| GPTBot | OpenAI | Treinamento | mesma página da OpenAI |
| ChatGPT-User | OpenAI | A pedido do usuário | mesma página da OpenAI |
| ClaudeBot | Anthropic | Treinamento | central de ajuda do Claude |
| Claude-SearchBot | Anthropic | Busca | mesma página da Anthropic |
| Claude-User | Anthropic | A pedido do usuário | mesma página da Anthropic |
| PerplexityBot | Perplexity | Busca | docs.perplexity.ai, robôs |
| Perplexity-User | Perplexity | A pedido do usuário | mesma página da Perplexity |
| meta-webindexer | Meta | Busca (Meta AI) | developers.facebook.com, rastreadores |
| meta-externalagent | Meta | Treinamento e indexação de produto | mesma página da Meta |
| Googlebot | Busca | Google, rastreadores comuns | |
| CCBot | Common Crawl | Acervo aberto da web | commoncrawl.org/ccbot |
| Bytespider | Costuma ser atribuído à ByteDance | Sem confirmação oficial | sem página conferida |
Algumas distinções que a documentação deixa claras. O token Google-Extended, descrito na mesma página do Google, controla o uso do conteúdo para treinar modelos Gemini e fundamentar respostas no app Gemini, e não afeta a presença do site na Pesquisa: quem controla a Pesquisa é o Googlebot. Da OpenAI, a regra é que cada configuração é independente, então bloquear o GPTBot não tira o site da busca do ChatGPT. Da Anthropic, bloquear o ClaudeBot exclui o material futuro do treinamento, mas bloquear o Claude-SearchBot pode reduzir a visibilidade.
O CCBot é um caso à parte. O Common Crawl é uma fundação sem fins lucrativos que mantém um acervo aberto da web, e a página dele ensina a sair com duas linhas no robots.txt (User-agent: CCBot e Disallow: /). Esse acervo pode ser usado por terceiros, o que explica por que o nome aparece em tantos logs.
O que fazer quando o robô não tem página oficial?
Trate como robô de treinamento e deixe a decisão com o dono do site, que é você. Sem documentação, não dá para afirmar que o robô segue o robots.txt nem que traz algum benefício, e a escolha prudente é a de menor risco para o que você controla. O caminho tem três degraus, e você só desce para o seguinte se o anterior falhar:
- Bloquear no robots.txt. Acrescente um bloco com o nome exato que aparece no log (User-agent: Bytespider, Disallow: /). Espere cerca de um dia, que é o prazo que OpenAI, Perplexity e Meta citam para as mudanças valerem.
- Conferir no log, uma semana depois. Se o robô continua entrando em volume parecido, ele provavelmente ignora o arquivo.
- Bloquear no firewall. Use a faixa de IP que você verificou, não só o nome, porque o nome é imitável. Pelo painel da hospedagem ou do CDN, a regra costuma levar poucos minutos.
Antes de mexer no firewall, tire um backup do site e das regras atuais: se uma regra nova barra o que não devia, você precisa voltar rápido. O post backup do site: quem faz explica de quem é essa tarefa e como conferir.
Vale bloquear qualquer robô que eu não conheço?
Não: desconhecido para você não significa ruim, e o bloqueio em massa costuma custar mais do que rende. Entre os robôs que você nunca viu pode haver o de um serviço de monitoramento que você contratou, o de um parceiro de e-mail ou o de um buscador pequeno. E regras largas demais derrubam também os robôs que você quer: o Google alerta, no artigo sobre migrar para CDN, que regras que desafiam todo tráfego automatizado fazem os robôs dele falharem no teste, e que as páginas podem sair da busca.
Uma regra prática: bloqueie pelo nome exato, um robô por vez, depois de verificar. Nunca bloqueie "tudo que não é navegador". E guarde o Disallow: / geral para o que você realmente quer esconder, como um ambiente de teste.
Se o motivo de olhar o log é suspeita de que robôs estão pesando no servidor, confira antes se o problema não é outro. Um site lento no celular tem causas bem mais comuns do que um robô (o post site rápido no celular: como conseguir traz a lista), e a queixa de "ninguém visita" pode ser lida de outro jeito no site sem visitas: o que fazer. O log mistura gente e robô, e a leitura certa separa os dois.
Como ler o log sem ser técnico?
Peça ao painel da hospedagem a lista dos user agents mais frequentes do último mês e olhe só para as dez primeiras linhas. O painel costuma ter um item chamado estatísticas ou logs de acesso, e o suporte da hospedagem sabe extrair essa lista se você não achar. Pense numa loja virtual cuja hospedagem avisou de excesso de acessos: ao ordenar por frequência, o dono acha um robô com milhares de visitas, confere o IP e descobre que é um rastreador de treinamento. Isso é um exemplo hipotético, mas o roteiro é esse.
Em cada linha, três perguntas: o nome é conhecido? O IP bate com a lista da empresa? O robô pede páginas que importam (produtos, serviços) ou só varre tudo, até áreas sem interesse? As respostas dizem em que família ele cai e se vale uma regra. Quem usa WordPress encontra o assunto também nos plugins de segurança e estatística, e a decisão de plataforma está no post site em WordPress: vale a pena?. O objetivo da conferência é o mesmo do teste de 5 minutos do site: achar o que atrapalha antes de pagar por solução.
Como a CL3 entra nessa conferência de robôs
A análise de site grátis da CL3 é o primeiro passo: dá uma nota de 0 a 100 para o endereço, sem cadastro, e confere se os robôs de IA estão liberados ou barrados no robots.txt, além de verificar se o site é legível para eles (o post seu site é legível para a IA: 7 verificações detalha o raciocínio). Ela não lê o log do seu servidor, mas mostra o que você já está dizendo aos robôs.
Para quem precisa de decisão por escrito (quais robôs liberar, quais bloquear, o que mudar no site e no servidor), a consultoria de marketing digital da CL3 usa uma ferramenta de 50 verificações de SEO e GEO e entrega um plano com prioridades. E, se o site em si precisa ser refeito, a CL3 constrói sites com robôs de IA liberados e domínio no CNPJ do cliente. Comece pelo que é grátis: rode a análise de site e guarde a nota.
Perguntas frequentes
Bloquear o CCBot afeta a minha posição no Google?
Não há relação entre o CCBot e o Google. O CCBot é o rastreador da Common Crawl, fundação sem fins lucrativos que mantém um acervo aberto da web, e para sair basta um bloco com User-agent: CCBot e Disallow: / no robots.txt. Quem controla a Pesquisa do Google é o Googlebot, e é ele que você não deve bloquear por engano.
O robots.txt basta para barrar um robô que não conheço?
Só funciona se o robô decidir obedecer. Documentações de OpenAI, Anthropic e Perplexity tratam o arquivo como o controle oficial dos robôs delas, mas para um robô sem página oficial não há garantia. Por isso o roteiro é bloquear no arquivo, conferir o log depois de alguns dias e, se ele continuar, bloquear no firewall pelo IP verificado. Veja o post sobre robots.txt para os erros mais comuns.
Como peço ao suporte da hospedagem para ver os robôs que visitam o site?
Peça a lista dos user agents mais frequentes do último mês, com o total de acessos de cada um e os IPs principais. É um pedido comum, e o suporte costuma extrair em minutos. Com a lista em mãos, compare cada nome com a documentação da empresa e cada IP com a lista oficial, antes de abrir qualquer regra de bloqueio.
Fontes citadas
Os documentos em que este artigo se apoia, na ordem em que aparecem no texto. Abra e confira.
- Google Verificar se o rastreador é do Google
- OpenAI Robôs de rastreamento
- Anthropic Robôs do Claude
- Perplexity Robôs
- Meta Rastreadores da web
- Google Rastreadores comuns (Google-Extended)
- Common Crawl CCBot