Um estudo da SparkToro, divulgado em janeiro de 2026, mostra que recomendações de marcas e produtos feitas por IA são altamente inconsistentes. A pesquisa alerta para a falta de confiabilidade dos rankings de IA e destaca riscos para quem investe em rastreamento de visibilidade.
- Listas de recomendações de IA mudam a cada execução, mesmo com o mesmo prompt.
- Ordem e quantidade de marcas variam de forma imprevisível nas respostas.
- Percentual de citação é mais útil que ranking para medir presença de marca.
- Diversidade de prompts humanos amplia a inconsistência das respostas.
A pesquisa liderada por Rand Fishkin e Patrick O’Donnell avaliou a confiabilidade das respostas de IA ao recomendar marcas e produtos. O experimento contou com 600 voluntários, que rodaram 12 prompts diferentes em ChatGPT, Claude e Google AI, totalizando quase 3 mil execuções. Os resultados mostraram que as listas de recomendações mudavam quase sempre, tanto na seleção quanto na ordem e quantidade de itens.
A chance de obter a mesma lista de marcas em duas execuções é inferior a 1%, e repetir a mesma ordem é ainda mais raro, menos de 0,1%. Isso evidencia que as IAs funcionam como motores probabilísticos, tornando o rastreamento tradicional de rankings pouco confiável.
O estudo também mostrou que usuários reais criam prompts muito variados, mesmo com a mesma intenção, o que amplia ainda mais a diversidade das respostas. Apesar disso, algumas marcas aparecem com frequência em determinados temas, sugerindo que o percentual de visibilidade (a frequência com que uma marca é citada em múltiplas execuções) pode ser um indicador mais estável do que a posição em rankings.
Em nichos restritos, como hospitais de câncer na Costa Oeste dos EUA, uma instituição apareceu em até 97% das respostas, mas raramente na mesma posição. Já em setores amplos, como recomendações de romances de ficção científica, a variedade de marcas citadas foi muito maior, refletindo o universo de opções disponíveis para a IA.
Para os profissionais de marketing, a recomendação é focar na análise de visibilidade percentual, rodando múltiplos prompts e avaliando a frequência de menção das marcas. O rastreamento de rankings em IA, por outro lado, é considerado inviável e pode induzir a decisões equivocadas.
O estudo destaca limitações importantes: a diversidade de prompts humanos, a falta de padronização nas respostas e possíveis diferenças entre APIs e interfaces públicas das IAs. No médio prazo, medir visibilidade pode ajudar a mapear tendências, mas não deve ser usada como métrica absoluta de performance.
A SparkToro recomenda que fornecedores de ferramentas publiquem metodologias transparentes e dados auditáveis. Mais pesquisas são necessárias para validar métricas de visibilidade em IA, considerando a evolução dos modelos e o uso real pelos usuários.
O artigo com todos os dados dos estudos está disponível em “NEW Research: AIs are highly inconsistent when recommending brands or products; marketers should take care when tracking AI visibility“, publicado pela SparkToro.
