John Mueller, do Google, disse que rastreadores de treinamento de IA geralmente não oferecem nenhuma forma de um site submeter um sitemap, e sugeriu usar um nome de arquivo padrão ou um feed RSS para ajudar esses rastreadores a encontrar o conteúdo. Ele fez os comentários ao lado de Martin Splitt no episódio de 1º de outubro do podcast Search Off the Record, do Google, intitulado “Sitemaps ainda importam?” — e disse já ter visto, nos próprios logs de servidor, rastreadores de IA acessando seus arquivos de sitemap e RSS.
Sitemaps privados e rastreadores de IA
Segundo Mueller, quem quiser manter um sitemap privado pode dar a ele um nome de arquivo incomum, deixá-lo fora do robots.txt e enviá-lo diretamente ao Google — com a desvantagem de que outros sistemas não vão conseguir encontrá-lo, e o Bing provavelmente precisaria de uma submissão própria. Rastreadores de treinamento de IA são diferentes, porque “geralmente não têm nenhum tipo de console ou configuração em que você possa enviar um arquivo de sitemap.” Para sites que querem que seu conteúdo chegue a sistemas de IA, ele sugere: “ou você mantém o nome genérico, chamando de sitemap.xml, ou foca em feeds RSS.” O protocolo de sitemaps prevê que a linha “Sitemap” do robots.txt é independente da linha de user-agent, então não está amarrada às regras de um rastreador específico — e feeds são mais fáceis de encontrar, já que costumam estar linkados no <head> HTML da página.
“Eu já vi isso acontecer nos meus logs de servidor, onde algum rastreador de IA acessa meu arquivo de sitemap”, disse Mueller, acrescentando que viu o mesmo com seus arquivos RSS. Ele não nomeou os rastreadores específicos e disse não saber se as empresas de IA documentam esse acesso ou o que fazem com os arquivos.
Llms.txt não substitui um sitemap
Questionado se o llms.txt poderia substituir um sitemap XML, Mueller comparou o arquivo Markdown a um sitemap em HTML, e disse que os sistemas do Google não conseguem usá-lo como sitemap porque falta o formato estrito necessário. “Acho que a esperança é maior que a realidade”, disse ele, admitindo que sistemas de busca podem vir a ler arquivos Markdown algum dia: “atualmente, nada disso acontece.” Ele não se opõe a sites testarem o formato, mas não contaria com ele. Em agosto, os únicos rastreadores que afirmavam aceitar Markdown nos sites de teste dele eram ferramentas de SEO — e, em maio, o próprio guia de otimização para IA do Google já listava o llms.txt entre as táticas que os sites não precisam adotar para recursos de IA generativa.
Por que um sitemap válido pode aparecer como “não foi possível buscar”
Splitt encerrou perguntando por que o Search Console às vezes reporta “não foi possível buscar” para um sitemap válido e público, linkado no robots.txt. Segundo Mueller, um motivo é carga do host — os sistemas do Google podem estar ocupados demais para buscar o sitemap, e o Search Console reporta isso da mesma forma. O outro motivo é demanda de rastreamento: o Google pode pular o sitemap quando seus sistemas não veem necessidade de rastrear muito mais daquele site. “E a demanda de rastreamento, com muita frequência, é baseada na qualidade percebida de um site”, disse ele, acrescentando que “não é uma questão puramente técnica.” Em fevereiro, ele já tinha dito a um usuário do Reddit que o Google não usa um sitemap se não estiver convencido de que há conteúdo novo e importante para indexar. A página de ajuda do relatório de Sitemaps do Search Console lista baixa demanda de rastreamento entre os motivos de falha, e afirma que conteúdo melhor traz mais demanda de rastreamento; outros motivos incluem bloqueios no robots.txt, ações manuais não resolvidas e URLs incorretas.
Visão Estratégica da Web Estratégica
- Diagnostique o objetivo do seu sitemap: se a meta é ser encontrado por rastreadores de treinamento de IA, use o nome genérico sitemap.xml e mantenha um feed RSS ativo — não conte com o llms.txt como substituto, segundo a própria orientação do Google.
- Confira os logs de servidor do seu site para ver se rastreadores de IA já estão acessando seu sitemap ou RSS — é uma forma direta de confirmar presença, nas palavras do próprio Mueller.
- Se o Search Console mostrar “não foi possível buscar” num sitemap válido, não trate isso só como um problema técnico: avalie também a demanda de rastreamento, que o próprio Mueller liga à qualidade percebida do site.
Diagnostique seu potencial de descoberta por rastreadores de IA e confirme se o seu sitemap e seu feed RSS estão configurados da forma que o Google recomenda.
