Um cliente me mandou semana passada uma proposta de outra agência que prometia "otimização técnica para AEO" e listava, entre os entregáveis, a criação de um arquivo llms.txt. Fui checar a documentação oficial antes de responder. O que encontrei foi o Google dizendo o contrário, por escrito, na página de ajuda dele.
Isso me pareceu digno de um post, porque a distância entre o que se vende como AEO técnico e o que os provedores documentam ficou grande demais. A Kaleidos já escreveu sobre a estratégia de ser a resposta que a IA dá. Este aqui é o complemento chato e necessário: a camada técnica, conferida contra fonte oficial, com o que sai da lista.
O que o Google diz, com todas as letras
Comecemos pelo mais desconfortável para quem vende pacote técnico de AEO. Sobre AI Overviews e AI Mode, a documentação do Google Search Central afirma: "There are no additional requirements to appear in AI Overviews or AI Mode, nor other special optimizations necessary." E segue, sem espaço para interpretação: "You don't need to create new machine readable files, AI text files, or markup to appear in these features. There's also no special schema.org structured data that you need to add" (Google Search Central).
O guia de otimização para IA generativa acrescenta duas coisas que derrubam táticas populares. Primeira: "There's no requirement to break your content into tiny pieces for AI to better understand it." Segunda, a justificativa: "our generative AI features on Google Search are rooted in our core Search ranking and quality systems" (Google Search Central).
Traduzindo o que isso significa na prática: para o Google, aparecer em resposta de IA é consequência de ranquear bem na busca comum. Não há porta lateral. Toda a indústria de "otimização para AI Overview" que promete um caminho separado está vendendo um caminho que o próprio fornecedor diz não existir.
Isso vale para o Google. Não vale automaticamente para ChatGPT ou Perplexity, e a diferença entre eles é o que sobra de técnico de verdade.
llms.txt: o que é, e por que ele não faz o que prometem
Continue por dentro
Um estudo denso por quinzena, direto no seu email.
Os bastidores de por que tokens e projetos crescem. Sem ruído, sem spam.
O /llms.txt foi proposto por Jeremy Howard, da Answer.AI, em setembro de 2024 (answer.ai). É um arquivo Markdown na raiz do site que oferece ao modelo uma versão curta e navegável do conteúdo. A especificação define um H1 com o nome do projeto como única seção obrigatória, um blockquote de resumo, conteúdo detalhado opcional e seções H2 com listas de links.
A ideia é boa. O problema é o passo seguinte: nenhum provedor grande de LLM declara consumir o arquivo, e o Google declara explicitamente que a busca dele o ignora.
Existe uma pegadinha que engana muita gente, inclusive gente bem-intencionada. OpenAI e Anthropic publicam llms.txt nas próprias documentações. Os arquivos existem e respondem. Só que publicar não é consumir, e nenhuma das duas documenta consumo. Ver o arquivo no site da OpenAI e concluir que a OpenAI lê o seu é um salto lógico que não se sustenta.
Minha posição prática: publicar um llms.txt custa pouco e não faz mal. Cobrar por isso como entregável de otimização, ou prometer resultado a partir dele, é outra conversa. Se alguém te vender isso, peça a documentação do provedor que consome o arquivo.
O que é técnico de verdade: controle de acesso por user-agent
Aqui está a parte que realmente muda o resultado, e que raramente é revisada. Os provedores usam bots diferentes para finalidades diferentes, e bloquear o errado tira você das respostas sem que ninguém perceba.
OpenAI opera três bots distintos (documentação oficial):
- GPTBot, para treinamento.
- OAI-SearchBot, usado para exibir sites nos resultados de busca do ChatGPT.
- ChatGPT-User, acionado por ação do usuário.
O detalhe que decide tudo está na própria documentação: "Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers." Ou seja, muita gente bloqueou tudo que tem "GPT" ou "OAI" no nome para evitar treinamento e, sem saber, se removeu das respostas de busca do ChatGPT. São decisões opostas embrulhadas em nomes parecidos. E, sobre o ChatGPT-User, a documentação avisa que "because these actions are initiated by a user, robots.txt rules may not apply".
Perplexity faz a mesma separação (docs): o PerplexityBot é "designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models", enquanto o Perplexity-User é disparado pelo usuário e normalmente ignora robots.txt.
Google separa treinamento de busca pelo Google-Extended, e a documentação é enfática: "Google-Extended does not impact a site's inclusion in Google Search nor is it used as a ranking signal" (docs).
Anthropic usa ClaudeBot para treinamento, Claude-User para perguntas do usuário e Claude-SearchBot para qualidade de resultado de busca, com bloqueio via robots.txt (central de ajuda).
A ação concreta que vale mais que qualquer arquivo novo: abra o seu robots.txt hoje e confira, bot por bot, o que você está bloqueando. É a única alavanca técnica desta lista com efeito binário comprovado. Ou você aparece, ou não aparece.
Schema: o que continua valendo depois de 2023
A confusão sobre dados estruturados vem de um anúncio real e mal lido.
Em agosto de 2023, o Google anunciou que estava "reducing the visibility of FAQ rich results" e que, daí em diante, o rich result de FAQ apareceria apenas "for well-known, authoritative government and health websites" (Search Central Blog). O mesmo post diz que não é preciso remover a marcação, "there's no need to proactively remove it", e que não se trata de mudança de ranking.
Muita gente leu isso como um atestado de óbito do FAQPage e arrancou o schema do site. O anúncio retirou o enfeite da página de resultados, não a utilidade da marcação: ela segue sendo a forma padronizada de declarar, em linguagem de máquina, qual trecho é a pergunta e qual é a resposta dela (schema.org/FAQPage). O lado editorial dessa escolha a Kaleidos já tratou em GEO: como aparecer nas respostas do ChatGPT e do Perplexity; aqui interessa só o veredito técnico.
Para Article, vale registrar o que a documentação diz e raramente é repetido: "There are no required properties; instead, add the properties that apply to your content." As recomendadas são headline, image, datePublished, dateModified e author (Google).
Minha leitura honesta: marcar Article e FAQPage é barato, correto e não depende de promessa de ninguém. Só não é o que vai te fazer aparecer. É higiene, não alavanca.
Então o que sobra, de fato
Se o markup mágico não existe e o arquivo mágico não existe, sobra uma lista curta, e ela não é técnica. O que fazer no texto (responder antes de enrolar, nomear a fonte de cada número, um assunto por seção) a Kaleidos já detalhou em GEO: como aparecer nas respostas do ChatGPT e do Perplexity, e nada do que apurei aqui muda aquela lista.
O que este post acrescenta a ela é um item só, e é o único desta categoria com efeito binário: robots.txt auditado bot por bot. Ou o OAI-SearchBot entra, ou você não aparece na busca do ChatGPT. Não há meio-termo, não há gradiente de otimização, e não existe arquivo novo que compense a linha errada.
O resto do que se vende como AEO técnico é higiene: Article e FAQPage marcados, dateModified correto, site rápido e indexável. Vale fazer, custa pouco, e não é o que decide. Não há atalho técnico porque o critério nunca foi técnico: o que o motor procura é conteúdo verificável, e verificável é caro de fingir.
O que fica
A pergunta que eu faria antes de aprovar qualquer proposta de AEO técnico é simples: qual documentação oficial sustenta esse entregável? Se a resposta for um post de LinkedIn ou o blog de uma ferramenta, você está comprando cargo cult.
E se for para fazer uma coisa só depois de ler isto aqui, abra o seu robots.txt. É onde mora o único erro desta lista capaz de te apagar das respostas de IA sem deixar rastro.
Se você quer uma auditoria do que a sua marca aparece hoje nas respostas de IA e do que está te bloqueando tecnicamente, é isso que a gente faz na Kaleidos. Fala com a gente em /contato.
