OpenAI, Google e Microsoft unem força para bloquear scrapers de conteúdo

---

O que muda e como funciona

Antes, cada empresa tinha que negociar individualmente com os publishers para definir se seus conteúdos poderiam ser usados em modelos. Agora, com o novo padrão, um único token no robots.txt será suficiente para bloquear ou permitir o acesso de crawlers de IA de todas as companhias participantes. A ideia é evitar que sites tenham que lidar com múltiplas solicitações de consentimento, cada uma com suas próprias regras.

O token vai funcionar como um sinal claro: se o site quiser evitar que seus conteúdos sejam usados para treinar modelos de IA, ele coloca o token no arquivo. Se quiser permitir, não coloca. A Anthropic já adota o padrão desde agora, mas Google e Microsoft só o implementarão em 2027. OpenAI prometeu lançar a regra "nos próximos meses".

---

Quem usa, quem não usa e o que ainda falta

A solução é voltada para publishers que já sofrem com o aumento de scrapers de IA, especialmente em um momento em que empresas como Cloudflare já bloqueiam crawlers por padrão. O problema é que, mesmo com o token, alguns modelos podem continuar usando conteúdo sem permissão, como o Bing, que mantém visibilidade dos sites independentemente das preferências.

Meta não confirmou ainda se vai seguir a regra, mas Andy Stone, diretor de comunicações da empresa, disse que apoia a ideia. "Criar um sinal comum é um passo importante", afirmou. A grande dúvida é se as empresas vão realmente cumprir o que prometem. Enquanto isso, os publishers terão que continuar negociando casos a caso com cada gigante da IA.

--- Contexto rápido: O movimento surge em meio a uma batalha crescente entre publishers e empresas de IA por direitos autorais. Desde 2023, sites como o The New York Times e o The Guardian já bloquearam crawlers de modelos como o ChatGPT e Bard, mas a regra agora é padronizada. O desafio é que, mesmo com o token, alguns modelos podem continuar rolando sem autorização explícita.