A Cloudflare decidiu bloquear, por padrão, bots de inteligência artificial que acessam sites de seus clientes. A medida busca dar mais controle aos donos de sites sobre o uso de seus conteúdos por empresas de IA.
- Bots de IA serão bloqueados automaticamente em sites hospedados pela Cloudflare.
- Cada site poderá decidir quais bots permitir ou proibir.
- Sites poderão cobrar para que bots de IA acessem seus conteúdos.
- Grandes nomes como AP e Stack Overflow apoiam a iniciativa.
A Cloudflare é uma das empresas mais importantes da infraestrutura da internet global. Milhões de sites utilizam seus serviços para segurança, desempenho e controle de tráfego. Por isso, qualquer mudança nas regras da empresa tende a impactar a web como um todo.
Com a nova política, bots usados por sistemas de IA deixarão de ter acesso automático ao conteúdo dos sites protegidos pela Cloudflare. Esses bots costumam varrer a internet em busca de dados para treinar modelos de inteligência artificial, muitas vezes sem autorização ou reconhecimento dos criadores originais.
Agora, os donos dos sites passam a ter mais controle. Eles poderão liberar ou bloquear bots específicos e definir se desejam cobrar pelo acesso. A empresa vai implementar um modelo de “pay-per-crawl”, permitindo que cada visita de um bot possa gerar uma compensação financeira.
Grandes plataformas e veículos de mídia já demonstraram apoio à medida. Associated Press, Time, Quora e Stack Overflow afirmam que a decisão é um passo importante para proteger a produção de conteúdo online e garantir um retorno justo para as comunidades que contribuem com dados.
Além disso, a Cloudflare pretende usar sua experiência em segurança digital para identificar e bloquear bots que ignoram regras básicas, como o arquivo robots.txt. A empresa já desenvolveu formas de enganar bots indesejados, fazendo com que eles naveguem por páginas falsas geradas por inteligência artificial.
Embora haja preocupações sobre possíveis impactos em usos não comerciais, como pesquisa acadêmica e arquivamento da web, a Cloudflare afirma que a ideia não é fechar portas, mas permitir negociações mais justas entre criadores de conteúdo e empresas de IA.
Para quem quiser saber mais detalhes, a notícia completa está disponível no site da MIT Technology Review: “Cloudflare will now, by default, block AI bots from crawling its clients’ websites”.
