Nous derrete viés chinês do Qwen3.8-27B com 53M de tokens

O viés pró-China nos modelos abertos chineses é uma "camada fina aplicada tardiamente", segundo a Nous. A equipe treinou o Qwen3.8-27B com 53 milhões de tokens em duas épocas, removendo sobreposições entre dados de treino e teste antes da execução. O teste próprio da Nous usou 803 prompts distribuídos em sete categorias — livre expressão, ideologia estatal, educação, privacidade e vigilância, democracia e meio ambiente — com Grok 4.7 da xAI como juiz.

Fine-tuning remove camada superficial de viés político

A maior melhora veio na categoria livre expressão: a pontuação de fato saltou de 0,89 para 2,44, enquanto a taxa de propaganda caiu de 60% para 1%. O Arete-27B atingiu 2,98 em precisão factual (contra 2,32 do modelo base) e menos de 1% de respostas propagandísticas. Em modo raciocínio, chegou a 3,07 em duas das cinco execuções realizadas. O modelo base Qwen3.8-27B apresentava 22% de taxa de propaganda.

Nos benchmarks internos, o Arete-27B manteve performance próxima ao modelo original: 65,60% no Hermes Bench (contra 65,77% do Qwen3.8-27B) e 70% no Terminal-Bench 2.1 (contra 67%). A Nous afirma que o viés político nos modelos chineses abertos é superficial e pode ser removido sem afetar o restante do sistema.

Arete-27B já está disponível, mas com limitações

O modelo Arete-27B foi lançado como open-weight em 7 de novembro de 2026. A equipe usou o Inkling do Thinking Machines Lab como modelo professor porque um modelo aberto não quebraria termos de serviço que proíbem distilação. A Nvidia também foi considerada com o Nemotron 3 Ultra, mas a Nous relatou "irregularidades em tópicos relacionados à China" e suspeita de contaminação por viés herdado de treinamento com modelos chineses abertos.

O Thinking Machines Lab usou modelos como o Kimi K2.5 da Moonshot AI para gerar dados sintéticos do Inkling. Pesquisas anteriores já haviam documentado o problema: em 2025, a NewsGuard encontrou que cinco modelos líderes chineses repetiam ou falhavam em corrigir desinformação pró-China em 60% dos casos testados. Nos testes da Nous, o GLM-5.3 da Zhipu AI registrou 15% de taxa de propaganda, enquanto modelos ocidentais como Mistral Large 4 e Gemma 4 31B ficaram abaixo de 1%.