Ir para o conteúdo
CL3 Marketing Orçamento grátis

Bytespider, CCBot e outros robôs no log do site: como identificar e o que fazer


Em 30 segundos

  • O nome do robô no log pode ser imitado: confirme o IP com DNS reverso ou com a lista JSON publicada pela empresa.
  • Os robôs conhecidos caem em três famílias: busca, treinamento e acesso a pedido do usuário; a tabela mostra onde cada empresa documenta.
  • Sem página oficial, trate como robô de treinamento: bloqueie no robots.txt e, se ele ignorar, no firewall pelo IP verificado.
  • Não bloqueie tudo que é desconhecido: regras largas barram também os robôs que trazem o site para as buscas.

Bytespider, CCBot e outros nomes que você não reconhece no log do site são robôs de rastreamento, e cada um cai numa de três famílias: busca, treinamento de modelos ou acesso a pedido de um usuário. O primeiro passo é confirmar o IP, porque o nome sozinho pode ser imitado. O segundo é decidir, família por família, quem entra.

O que é um robô que aparece no log do site e por que ele importa?

É um programa que visita as suas páginas sem ser uma pessoa, e o log do servidor registra cada visita com o nome que ele informou (o user agent). Você vê esse nome quando abre os registros de acesso da hospedagem. Alguns robôs são de empresas conhecidas e trazem benefício direto, como os que fazem o site aparecer nas buscas. Outros só consomem banda e coletam texto para treinar modelos de IA. E há os que não se identificam direito.

Dois motivos fazem o assunto valer cinco minutos do seu tempo. O primeiro é visibilidade: bloquear por engano um robô de busca tira o site de lugares onde o cliente pergunta. O segundo é controle: o texto que você escreveu pode estar sendo coletado para treinamento, e essa é uma escolha sua, não uma obrigação. O modelo de arquivo para decidir isso está em robôs de IA no robots.txt: liberar ou bloquear, e a base do arquivo em robots.txt: o que é e os erros que escondem o site.

Como saber se o robô é mesmo quem diz ser?

Compare o IP do registro com a lista oficial da empresa, nunca só o nome do robô. O nome vem de um campo que qualquer programa pode preencher como quiser. A página do Common Crawl, por exemplo, avisa que existem rastreadores que se passam falsamente por CCBot e recomenda conferir a autenticidade.

Há dois caminhos, ambos descritos pelas empresas. O primeiro é o manual: o Google ensina, no guia de verificação de rastreadores, a fazer um DNS reverso no IP do log, confirmar que o domínio devolvido pertence a googlebot.com, google.com ou googleusercontent.com e fazer o DNS direto para ver se volta ao mesmo IP. O segundo é o automático: comparar o IP com listas em JSON, que o Google publica para os rastreadores dele e que o Common Crawl, a OpenAI e a Anthropic também mantêm para os robôs delas.

  • Quem tem acesso ao servidor: faz o teste de DNS reverso em dois comandos, ou pede ao suporte da hospedagem.
  • Quem não tem: pede ao suporte da hospedagem que confira os cinco IPs que mais aparecem para o robô suspeito.
  • Em qualquer caso: anote o IP, o horário, o nome do robô e as páginas visitadas. Isso sustenta a decisão e o pedido ao suporte.

A Anthropic faz uma ressalva que vale para todo mundo: bloquear por endereço de IP pode não funcionar de forma correta nem persistente. Por isso o bloqueio por IP fica como segunda camada, e o robots.txt vem primeiro.

Em que família cada robô conhecido cai e onde a empresa documenta?

Os robôs mais vistos nos logs se dividem em busca, treinamento e pedido de usuário, e quase todos têm uma página oficial. A tabela reúne os que mais aparecem e o endereço de cada documentação. Onde a coluna diz "sem página conferida", eu não encontrei uma documentação oficial para citar.

RobôEmpresaFamíliaOnde a empresa documenta
OAI-SearchBotOpenAIBuscadevelopers.openai.com, robôs
GPTBotOpenAITreinamentomesma página da OpenAI
ChatGPT-UserOpenAIA pedido do usuáriomesma página da OpenAI
ClaudeBotAnthropicTreinamentocentral de ajuda do Claude
Claude-SearchBotAnthropicBuscamesma página da Anthropic
Claude-UserAnthropicA pedido do usuáriomesma página da Anthropic
PerplexityBotPerplexityBuscadocs.perplexity.ai, robôs
Perplexity-UserPerplexityA pedido do usuáriomesma página da Perplexity
meta-webindexerMetaBusca (Meta AI)developers.facebook.com, rastreadores
meta-externalagentMetaTreinamento e indexação de produtomesma página da Meta
GooglebotGoogleBuscaGoogle, rastreadores comuns
CCBotCommon CrawlAcervo aberto da webcommoncrawl.org/ccbot
BytespiderCostuma ser atribuído à ByteDanceSem confirmação oficialsem página conferida

Algumas distinções que a documentação deixa claras. O token Google-Extended, descrito na mesma página do Google, controla o uso do conteúdo para treinar modelos Gemini e fundamentar respostas no app Gemini, e não afeta a presença do site na Pesquisa: quem controla a Pesquisa é o Googlebot. Da OpenAI, a regra é que cada configuração é independente, então bloquear o GPTBot não tira o site da busca do ChatGPT. Da Anthropic, bloquear o ClaudeBot exclui o material futuro do treinamento, mas bloquear o Claude-SearchBot pode reduzir a visibilidade.

O CCBot é um caso à parte. O Common Crawl é uma fundação sem fins lucrativos que mantém um acervo aberto da web, e a página dele ensina a sair com duas linhas no robots.txt (User-agent: CCBot e Disallow: /). Esse acervo pode ser usado por terceiros, o que explica por que o nome aparece em tantos logs.

O que fazer quando o robô não tem página oficial?

Trate como robô de treinamento e deixe a decisão com o dono do site, que é você. Sem documentação, não dá para afirmar que o robô segue o robots.txt nem que traz algum benefício, e a escolha prudente é a de menor risco para o que você controla. O caminho tem três degraus, e você só desce para o seguinte se o anterior falhar:

  1. Bloquear no robots.txt. Acrescente um bloco com o nome exato que aparece no log (User-agent: Bytespider, Disallow: /). Espere cerca de um dia, que é o prazo que OpenAI, Perplexity e Meta citam para as mudanças valerem.
  2. Conferir no log, uma semana depois. Se o robô continua entrando em volume parecido, ele provavelmente ignora o arquivo.
  3. Bloquear no firewall. Use a faixa de IP que você verificou, não só o nome, porque o nome é imitável. Pelo painel da hospedagem ou do CDN, a regra costuma levar poucos minutos.

Antes de mexer no firewall, tire um backup do site e das regras atuais: se uma regra nova barra o que não devia, você precisa voltar rápido. O post backup do site: quem faz explica de quem é essa tarefa e como conferir.

Vale bloquear qualquer robô que eu não conheço?

Não: desconhecido para você não significa ruim, e o bloqueio em massa costuma custar mais do que rende. Entre os robôs que você nunca viu pode haver o de um serviço de monitoramento que você contratou, o de um parceiro de e-mail ou o de um buscador pequeno. E regras largas demais derrubam também os robôs que você quer: o Google alerta, no artigo sobre migrar para CDN, que regras que desafiam todo tráfego automatizado fazem os robôs dele falharem no teste, e que as páginas podem sair da busca.

Uma regra prática: bloqueie pelo nome exato, um robô por vez, depois de verificar. Nunca bloqueie "tudo que não é navegador". E guarde o Disallow: / geral para o que você realmente quer esconder, como um ambiente de teste.

Se o motivo de olhar o log é suspeita de que robôs estão pesando no servidor, confira antes se o problema não é outro. Um site lento no celular tem causas bem mais comuns do que um robô (o post site rápido no celular: como conseguir traz a lista), e a queixa de "ninguém visita" pode ser lida de outro jeito no site sem visitas: o que fazer. O log mistura gente e robô, e a leitura certa separa os dois.

Como ler o log sem ser técnico?

Peça ao painel da hospedagem a lista dos user agents mais frequentes do último mês e olhe só para as dez primeiras linhas. O painel costuma ter um item chamado estatísticas ou logs de acesso, e o suporte da hospedagem sabe extrair essa lista se você não achar. Pense numa loja virtual cuja hospedagem avisou de excesso de acessos: ao ordenar por frequência, o dono acha um robô com milhares de visitas, confere o IP e descobre que é um rastreador de treinamento. Isso é um exemplo hipotético, mas o roteiro é esse.

Em cada linha, três perguntas: o nome é conhecido? O IP bate com a lista da empresa? O robô pede páginas que importam (produtos, serviços) ou só varre tudo, até áreas sem interesse? As respostas dizem em que família ele cai e se vale uma regra. Quem usa WordPress encontra o assunto também nos plugins de segurança e estatística, e a decisão de plataforma está no post site em WordPress: vale a pena?. O objetivo da conferência é o mesmo do teste de 5 minutos do site: achar o que atrapalha antes de pagar por solução.

Como a CL3 entra nessa conferência de robôs

A análise de site grátis da CL3 é o primeiro passo: dá uma nota de 0 a 100 para o endereço, sem cadastro, e confere se os robôs de IA estão liberados ou barrados no robots.txt, além de verificar se o site é legível para eles (o post seu site é legível para a IA: 7 verificações detalha o raciocínio). Ela não lê o log do seu servidor, mas mostra o que você já está dizendo aos robôs.

Para quem precisa de decisão por escrito (quais robôs liberar, quais bloquear, o que mudar no site e no servidor), a consultoria de marketing digital da CL3 usa uma ferramenta de 50 verificações de SEO e GEO e entrega um plano com prioridades. E, se o site em si precisa ser refeito, a CL3 constrói sites com robôs de IA liberados e domínio no CNPJ do cliente. Comece pelo que é grátis: rode a análise de site e guarde a nota.

Perguntas frequentes

Bloquear o CCBot afeta a minha posição no Google?

Não há relação entre o CCBot e o Google. O CCBot é o rastreador da Common Crawl, fundação sem fins lucrativos que mantém um acervo aberto da web, e para sair basta um bloco com User-agent: CCBot e Disallow: / no robots.txt. Quem controla a Pesquisa do Google é o Googlebot, e é ele que você não deve bloquear por engano.

O robots.txt basta para barrar um robô que não conheço?

Só funciona se o robô decidir obedecer. Documentações de OpenAI, Anthropic e Perplexity tratam o arquivo como o controle oficial dos robôs delas, mas para um robô sem página oficial não há garantia. Por isso o roteiro é bloquear no arquivo, conferir o log depois de alguns dias e, se ele continuar, bloquear no firewall pelo IP verificado. Veja o post sobre robots.txt para os erros mais comuns.

Como peço ao suporte da hospedagem para ver os robôs que visitam o site?

Peça a lista dos user agents mais frequentes do último mês, com o total de acessos de cada um e os IPs principais. É um pedido comum, e o suporte costuma extrair em minutos. Com a lista em mãos, compare cada nome com a documentação da empresa e cada IP com a lista oficial, antes de abrir qualquer regra de bloqueio.

Fontes citadas

Os documentos em que este artigo se apoia, na ordem em que aparecem no texto. Abra e confira.

  1. Google Verificar se o rastreador é do Google
  2. OpenAI Robôs de rastreamento
  3. Anthropic Robôs do Claude
  4. Perplexity Robôs
  5. Meta Rastreadores da web
  6. Google Rastreadores comuns (Google-Extended)
  7. Common Crawl CCBot
Compartilhar no WhatsApp Marcar a CL3 como fonte preferida no Google

Pronto para ter um site que trabalha pela sua empresa?

Conte o que a sua empresa faz e a gente responde com uma proposta clara, sem enrolação.

Solicitar atendimento