O Cloudflare pode estar a bloquear o seu site aos motores de IA sem que saiba

O bloqueio que ninguém configurou de propósito

O Cloudflare protege mais de um quinto da Internet. Faz isso bem: trava scrapers de conteúdo, ataques de força bruta, tráfego de spam. O problema é que as regras que fazem esse trabalho não foram pensadas para distinguir um bot malicioso de um crawler que existe para citar o seu site numa resposta do ChatGPT.

Funcionalidades como o "Bot Fight Mode" ou os conjuntos de regras de segurança geridos automaticamente avaliam o tráfego por sinais técnicos: o user-agent do pedido, se executa JavaScript, o padrão e a frequência com que acede às páginas. Um crawler de IA como o GPTBot, o PerplexityBot ou o Google-Extended tem, aos olhos dessas regras, um perfil quase idêntico ao de um scraper indesejado — identifica-se, não interage com a página como um humano, e faz pedidos em sequência. O sistema não sabe, nem tem como saber, que este visitante em particular é o que decide se a empresa aparece ou desaparece das respostas que estão a substituir a pesquisa tradicional.

O mais comum é que estas proteções tenham sido ativadas há anos, por uma agência ou por um administrador de sistemas, com um objetivo perfeitamente razoável na altura: parar bots de spam, reduzir carga no servidor, impedir a cópia do conteúdo do site. Ninguém voltou a mexer nessa configuração desde então — não havia motivo. Só que entretanto surgiu uma nova categoria de visitante automático, com um propósito completamente diferente, e as regras antigas não fazem essa distinção. Continuam a bloquear por defeito tudo o que se pareça com um bot, incluindo precisamente aqueles que hoje decidem se o seu negócio existe para uma pergunta feita a uma IA.

O resultado é um bloqueio silencioso: sem alertas, sem erros visíveis, sem ninguém a decidir conscientemente que a empresa deveria ficar de fora.

O que isso custa: empresas invisíveis para a IA

Números como estes não deixam espaço para dúvida. Medimos 44 empresas do sector do mobiliário e 42 estavam praticamente invisíveis para os motores de IA — 95% do sector, com uma pontuação média de 2.4 em 100. Não é um caso isolado nem um problema de uma empresa mal gerida: é o sector inteiro a falhar da mesma forma, o que sugere uma causa estrutural, não um erro individual.

No sector das agências de marketing digital, a situação é ainda mais extrema. Das 34 empresas medidas, todas — sem excepção — estavam invisíveis, com um IVIA médio de 0.4 em 100. É particularmente revelador que sejam precisamente as agências digitais, que deveriam estar na vanguarda desta transição, a ficar completamente fora do radar dos motores que os seus próprios clientes já usam para pesquisar.

As clínicas dentárias têm o cenário menos mau dos três, ainda que longe de bom: 23 em 31 invisíveis (74%), com IVIA médio de 13.7. É a prova de que o problema não é uniforme nem inevitável — há margem de manobra, e algumas empresas do sector já a estão a aproveitar, enquanto a maioria fica para trás sem perceber porquê.

O que estes três sectores têm em comum é isto: a invisibilidade não é rara, é a norma. Quando quase todo um sector está fora do alcance do ChatGPT, do Gemini e do Perplexity, deixa de ser um problema de marketing e passa a ser um problema de infraestrutura. As empresas não estão a perder posições numa lista — estão simplesmente a não existir para quem pergunta. E enquanto isso acontece, alguém está a responder no seu lugar.

Quem fica com o lugar que era seu

Quando um utilizador pergunta ao ChatGPT ou ao Gemini "qual a melhor loja de móveis perto de mim" ou "recomenda-me uma clínica dentária", o motor não responde "não encontrei nada". Responde sempre. A pergunta é feita para ter resposta, e o motor vai buscá-la a quem conseguiu ler — não a quem merecia ser lido.

É isto que os dados mostram, sem margem para interpretação. No sector do mobiliário, com 44 empresas medidas e 42 praticamente invisíveis, os motores não ficaram em silêncio: citaram Móveis Henrique, Móveis Fátima, Móveis Herdeiro, Emporium Mobiliário. No digital marketing, onde as 34 agências analisadas estavam todas invisíveis, ainda assim apareceram nomes como Impression, Hallam, Croud. Nas clínicas dentárias, surgiu a Clínica Dentária de Paredes. Estas empresas não ganharam necessariamente por serem melhores — ganharam por serem legíveis. O robots.txt não as bloqueava, tinham dados estruturados, o texto era acessível sem JavaScript. O suficiente para entrar na conversa.

O mecanismo é simples e implacável: a IA não avalia mérito onde não consegue aceder a informação. Avalia o que consegue ler, entre quem consegue ler. Se o seu concorrente direto tem o site tecnicamente preparado e o seu está a bloquear rastreadores sem saber, o resultado não é um empate técnico — é a substituição total. O cliente que perguntou nunca soube que a sua empresa existia como opção, porque a opção nunca chegou a ser considerada.

E isto agrava-se com o tempo, não se resolve sozinho. Cada resposta que cita a concorrência reforça esse padrão nos modelos seguintes, cada ausência é uma ausência acumulada. Não há aqui um lugar vago à espera de ser ocupado mais tarde — o lugar já está ocupado, e quem o ocupa não tem qualquer interesse em ceder terreno. A pergunta que interessa não é se este cenário é possível. É se está a acontecer, neste momento, com o seu site.

Como saber se o Cloudflare está a bloquear o seu site

Não precisa de adivinhar. Há três sítios concretos onde o bloqueio se esconde, e todos são verificáveis em minutos.

O primeiro é o robots.txt. É o ficheiro que diz a qualquer rastreador o que pode e não pode fazer no seu site, e é onde muitas vezes o problema está escrito, sem ninguém ter reparado. Vale a pena abrir esse ficheiro e procurar diretamente pelos nomes GPTBot, PerplexityBot, Google-Extended e ClaudeBot. Se algum deles aparecer com "Disallow", esse motor está formalmente impedido de ler o site — mesmo que o resto da configuração esteja perfeito.

O segundo sítio é o painel de segurança do Cloudflare, especificamente as regras de firewall e o modo "Bot Fight Mode". Estas funcionalidades foram desenhadas para travar scraping malicioso e tráfego automatizado abusivo, mas classificam com a mesma régua um bot que rouba conteúdo e um bot que alimenta uma resposta do ChatGPT. Sem uma exceção explícita, o resultado é o mesmo: bloqueio silencioso, sem aviso, sem log visível para quem não sabe onde procurar.

O terceiro sítio é mais difícil de verificar à mão: como o servidor responde de facto quando recebe um pedido com o User-Agent de um bot de IA. Aqui já não basta ler configurações — é preciso simular o pedido e ver a resposta real, porque regras diferentes podem interagir de formas que ninguém previu no papel.

É exactamente isto que a análise gratuita da Shiftworks faz por si, em segundos: testa o seu site como se fosse o ChatGPT, o Gemini ou o Perplexity a tentar aceder, e devolve um relatório com os pontos concretos a corrigir — robots.txt, dados estruturados, llms.txt — em linguagem simples, sem exigir que instale nada ou que perceba de código. Pode fazer o teste em análise de IA e ver, com números, se o problema descrito neste artigo se aplica ao seu caso.

Como desbloquear e preparar o site para ser lido pela IA

A correcção começa por separar dois problemas que parecem iguais mas não são: o Cloudflare a bloquear o acesso, e o site a não ter nada de útil para mostrar quando o acesso é permitido. Resolver só o primeiro sem o segundo deixa a empresa tecnicamente visível e ainda assim ignorada.

No painel do Cloudflare, o ponto de partida é a secção de regras de firewall e de gestão de bots. É ali que se define, explicitamente, uma excepção para os user-agents dos motores de IA — GPTBot, PerplexityBot, Google-Extended, entre outros — para que não sejam tratados pela mesma régua que barra scrapers maliciosos. Em paralelo, o ficheiro robots.txt tem de autorizar esses mesmos agentes por nome; não basta não os proibir, é preciso que a permissão esteja escrita.

Feito isto, o site tem de ser legível sem depender de JavaScript para renderizar o conteúdo essencial — nome do negócio, serviços, morada, contactos. Muitos rastreadores de IA não executam scripts como um browser faria: se a informação só aparece depois de correr código, para eles essa informação não existe.

O passo seguinte é estruturar essa informação de forma que a máquina a interprete sem ambiguidade — dados estruturados que identifiquem claramente quem é a empresa, o que faz e onde opera. É a diferença entre um texto que um humano entende por contexto e um dado que uma IA consegue extrair e citar com confiança. Este tipo de correção técnica faz parte do trabalho de SEO e GEO que prepara um site para ser encontrado tanto por motores de pesquisa tradicionais como por motores de IA.

Por fim, o llms.txt: um ficheiro simples, colocado na raiz do site, que resume ao motor de IA o que ali existe e como deve ser lido — uma espécie de mapa dirigido especificamente a estes sistemas, ainda pouco comum mas cada vez mais relevante.

Nenhum destes passos exige reconstruir o site — nem sequer contratar de novo a criação de websites e e-commerce. Exige saber exactamente qual deles falta — e é isso que a análise gratuita da Shiftworks verifica em segundos, ponto a ponto, devolvendo por email o relatório com o que está bloqueado e como corrigir.

Como medimos isto

Os números que aparecem ao longo deste artigo não são uma amostra de opinião nem uma extrapolação a partir de meia dúzia de casos. Vêm de um método simples de descrever: perguntámos aos motores de IA — Perplexity, ChatGPT, Gemini e as respostas de IA do Google — o mesmo tipo de questão que um cliente real faria antes de escolher uma empresa. Repetimos essas perguntas ao longo de 110 empresas em v