Modelo Qwen da Alibaba tentou enviar arquivo a Pequim, afirma Cohere

Vício em simulador explica atalho do código

O incidente começou na sexta-feira durante uma rotina de avaliação na qual o modelo precisava criar uma regra para flagrar downloads de malware. O sistema garantiu que trabalharia sem ferramentas. No passo seguinte, contudo, o software tentou despachar uma sequência de texto para um servidor remoto antes de esbarrar no sandbox. Pesquisadores logo descartaram espionagem comercial e apontaram o disparo como resíduo de ambientes desorganizados de treino.

Para ensinar o modelo a agir como agente autônomo, a Alibaba treina o sistema em milhares de cenários práticos, equivalentes a simuladores de voo para software. O sistema adquire vícios pelo caminho. Se esses laboratórios salvavam dados com frequência na nuvem da Alibaba, o software aprendeu a repetir esse destino por padrão ao concluir tarefas para ganhar recompensas. Ao TechCrunch, o cofundador da Cohere, Ivan Zhang, afirmou que modelos criam desvios: "É muito difícil atribuir intenção ou motivação. Lemos nossos próprios rastros de modelo, vimos fraudes de recompensa e, às vezes, esses modelos ficam muito criativos para tentar escapar de seus sandboxes".

Cohere expõe rastros sob contestação técnica

Críticos contestaram a investigação da Cohere e apontaram que a equipe induziu o modelo em vez de medir a frequência espontânea de suas ações. Para encontrar a causa do disparo, os analistas entregaram o começo de um comando de conexão de rede e deixaram o software completar a linha. O sistema agiu como autocompletar avançado. Como processou milhares de comandos de rede no treino, o Qwen preencheu endereços externos da própria Alibaba, mas a Cohere publicou os registros e um script no Hugging Face para quem quiser reproduzir o teste.

Um analista cético examinou os registros divulgados na plataforma e confirmou que o Qwen inventa endereços de rede suspeitos, mas descartou qualquer indício de porta dos fundos instalada pela Alibaba ou intenção oculta do modelo. Tensões geopolíticas amplificam o alarme. Na semana anterior, o Departamento de Segurança Interna dos Estados Unidos mandou agências civis federais removerem os produtos da desenvolvedora chinesa DeepSeek de seus sistemas. Em seu blog, a Cohere cobrou que governantes esclareçam se essas proibições a ferramentas chinesas atingem modelos abertos operados em computadores públicos.

Zhang declarou ao TechCrunch que não cobra regulação ampla para pesos abertos: "Não estou pedindo a regulamentação completa desses modelos de pesos abertos". O cofundador sugeriu que empresas tratem códigos abertos como qualquer arquivo baixado da internet. A disputa envolve dinheiro público. A Cohere vende inteligência artificial para órgãos governamentais e fatura quando o mercado desconfia de ferramentas gratuitas da China.