llms.txt e robots para IA: o que liberar e o que travar

llms.txt e robots para IA: o que liberar e o que travar

TL;DR

• Dois arquivos de texto puro na raiz do domínio decidem boa parte da sua visibilidade em IA, e eles fazem coisas diferentes.
• robots.txt controla acesso. É o padrão de exclusão de robôs formalizado na RFC 9309 (RFC Editor), e é a camada que os crawlers das empresas de IA declaram respeitar.
• llms.txt descreve. É uma convenção proposta pela comunidade para entregar ao modelo um mapa curado do site em Markdown, em vez de deixar ele garimpar HTML (llmstxt.org).
• Quem quer ser citado libera explicitamente GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Perplexity-User e Google-Extended, e mantém bloqueadas apenas as rotas internas.
• Nenhum dos dois arquivos faz o conteúdo merecer a citação. Eles só garantem que ele possa ser lido.

Por que esta é a primeira coisa a conferir em GEO

Porque é a única do assunto que é binária. Todo o resto de otimização para IA é probabilístico: escrever melhor aumenta a chance de ser citado, não garante. Já o acesso do crawler é sim ou não. Se o robô não entra, nada que você escreveu importa.

E o modo de falha é silencioso. Um bloqueio em robots.txt não gera erro, não aparece em relatório, não dispara alerta. O site continua respondendo normalmente para gente, e some das respostas geradas sem que ninguém perceba a ligação.

A conferência leva um minuto: abra seudominio.com/robots.txt no navegador e leia.

Quais crawlers de IA eu preciso nomear no robots.txt?

Os que têm nome público documentado pelos próprios fabricantes. São quatro famílias que importam hoje.

OpenAI. Publica três agentes com funções distintas: GPTBot, que coleta conteúdo para treinamento; OAI-SearchBot, que alimenta o índice de busca do ChatGPT; e ChatGPT-User, que busca uma página específica quando um usuário pede (OpenAI). A distinção importa: um site pode querer bloquear treinamento e continuar liberando busca, e isso só é possível porque os agentes têm nomes separados.

Anthropic. Documenta o ClaudeBot e as instruções de robots.txt para permitir ou bloquear (Anthropic).

Perplexity. Documenta PerplexityBot, que indexa, e Perplexity-User, que visita a página quando o usuário faz uma pergunta que a puxa (Perplexity).

Google. Aqui a peça é diferente das outras: Google-Extended não é um crawler novo, é um controle de uso. Ele decide se o conteúdo já coletado pelo Googlebot pode alimentar produtos de IA, e o anúncio do próprio Google diz que usá-lo não afeta inclusão nem ranqueamento na Busca (Google).

Existe um detalhe de comportamento que vale registrar, porque ele desfaz uma confusão comum: o crawler de treinamento lê HTML direto e não procura o seu llms.txt. Quem depende exclusivamente do llms.txt para ser encontrado está contando com uma cortesia que a maior parte dos agentes não pratica. O que sempre vale é a permissão no robots.txt.

Como fica um robots.txt que libera IA sem abrir o que não deve

A lógica é: liberar o conteúdo público, bloquear rota de API, área administrativa e artefato de build. Nada mais.

O arquivo real que a Kaleidos serve segue exatamente isso. Uma regra padrão para qualquer robô, com as rotas internas fora; e uma segunda regra que nomeia os agentes de IA um por um, também com as rotas internas fora. Nomear em vez de confiar no curinga é deliberado: alguns agentes só obedecem a diretiva que carrega o nome deles, e a regra explícita também documenta, para quem abrir o arquivo, que a liberação foi uma decisão e não um descuido.

"A gente escreveu os quatorze nomes à mão. Não porque o curinga não funcionaria, mas porque daqui a um ano alguém vai abrir esse arquivo e precisar saber se aquilo foi escolha ou esquecimento."

Gabriel Madureira, fundador da Kaleidos

O que é o llms.txt?

É um arquivo em Markdown na raiz do domínio que entrega ao modelo um resumo curado do site: o nome, um parágrafo dizendo o que o site é, e listas de links comentados por seção. A proposta descreve o formato e a motivação, que é a janela de contexto limitada do modelo diante de HTML cheio de navegação, script e anúncio (llmstxt.org).

A promessa não é ranquear. É desambiguar.

Quando um modelo precisa responder "o que é a empresa X", ele monta a resposta com o que conseguiu extrair. Se a informação estiver espalhada em dez páginas com wording diferente, a resposta sai genérica ou errada. Se existir um documento curto, em texto puro, que diz o que a casa é, desde quando opera, quem assina o conteúdo e quais números ela de fato sustenta, a resposta tende a sair dali.

O que colocar no llms.txt de uma casa de conteúdo

O arquivo que a Kaleidos mantém no ar tem cinco blocos, e eles resolvem cinco problemas distintos:

1. Resumo factual. Nome, o que é, onde fica, desde quando opera, quem assina o conteúdo, para quem trabalha. Frases curtas, uma afirmação por linha. É o bloco que o modelo consegue citar sem reescrever.

2. A lista fechada de números. Este é o bloco que mais evita estrago. Ele diz, em texto, quais são os números que a casa publica sobre o próprio trabalho, e diz explicitamente que se uma resposta precisar de um número fora dessa lista, o correto é dizer que não é público. É uma instrução de honestidade escrita para a máquina, e é a parte do arquivo que a casa mais defende.

3. Como citar. URL canônica, sem parâmetro de campanha, com nome de página em vez de só o domínio. Autor e editora nomeados. Quando o número é de fonte terceira, a instrução é citar a fonte original, não a casa.

4. O que existe de conteúdo aberto. Lista de estudos e guias com uma linha de descrição cada, apontando para a URL onde está o texto completo, não para a capa de apresentação. Diferença que parece pequena e não é: modelo citando a capa cita uma página sem conteúdo.

5. Um aviso de escopo. No caso de cripto, dizer que nada ali é recomendação de investimento. Isso protege a casa e melhora a resposta.

O llms.txt substitui o robots.txt?

Não, e confundir os dois é o erro mais comum do assunto.

O robots.txt é uma camada de permissão, com padrão formal e comportamento previsível (RFC Editor). O llms.txt é uma camada de descrição, com adoção voluntária e desigual.

Um site com llms.txt impecável e GPTBot bloqueado é invisível no ChatGPT. Um site sem llms.txt e com todos os agentes liberados pode ser citado normalmente. A ordem de prioridade, portanto, é: primeiro o acesso, depois a descrição, depois o conteúdo que merece ser citado.

O que nenhum dos dois arquivos faz

Não fazem o seu conteúdo ser escolhido.

Liberar o crawler e publicar um mapa curado coloca você na sala. Ser citado depende de ter escrito a resposta que o modelo considera a melhor disponível para aquela pergunta, e isso é trabalho editorial: resposta direta logo abaixo de um título que é a pergunta literal, número com fonte no ponto da afirmação, e uma afirmação que ninguém mais está fazendo.

Esse trabalho é o assunto das peças seguintes da trilha, começando por como ser citado pela IA e pelo lado técnico em AEO técnico.

Checklist de dez minutos

1. Abra seudominio.com/robots.txt e leia linha por linha.
2. Confirme que GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Perplexity-User e Google-Extended não estão bloqueados.
3. Confirme que o bloqueio de rota interna usa âncora de fim onde precisa, para não pegar rota vizinha por prefixo.
4. Confirme que o arquivo aponta para o seu sitemap.
5. Publique um llms.txt com os cinco blocos acima, incluindo a lista fechada de números.
6. Abra seudominio.com/llms.txt numa janela anônima e confirme que ele responde como texto puro.
7. Marque no calendário: revisar os dois arquivos a cada trimestre, porque a lista de agentes muda.