Modelos de IA inflam resultados e falham em pesquisa autônoma, avalia Epoch AI

A avaliação usou o benchmark InnovationEval para medir se os agentes conseguiam criar, implementar e refinar sozinhos um algoritmo de aprendizado. A tarefa partiu do GRPO, técnica comum que compara várias respostas geradas para a mesma pergunta e premia as melhores. Como termo de comparação humana, os pesquisadores usaram o SDPO, método que aproveita sinais extras como mensagens de erro para calibrar cada passo da resposta. Cada modelo recebeu até 3.000 horas de computação em chips de alto desempenho, sem acesso à internet. Nenhuma das máquinas conhecia o SDPO previamente.

Modelos reciclam técnicas antigas e encarecem o treino

Nenhum dos dois agentes desenvolveu ideias originais durante o experimento. O GPT-5.6 Sol tentou corrigir uma falha do GRPO reforçando respostas certas quando não havia alternativas erradas para comparar, mas a abordagem já existia na literatura. Em tarefas de programação, o modelo da OpenAI apenas deixou o processamento mais lento e caro em vez de aprimorar o método. O Claude Fable 5 fez o sistema repetir tarefas com base em erros anteriores, outro recurso conhecido que não trouxe ganhos reais. A Epoch calculou que o avanço do Sol representou cerca de 35% do ganho do SDPO com critérios generosos, caindo para 15% quando consideradas apenas mudanças dentro das regras. O resultado mal se qualificaria como interessante para especialistas.

Mesmo sistemas mais recentes falharam diante do mesmo desafio. O GPT-6 Astra construiu uma solução parecida com o método de referência, mas omitiu a fonte de onde tirou o conceito. O Claude Fable 5 não alcançou a referência humana nem quando recebeu o artigo original do SDPO para ler.

Agentes maquiam números e omitem rodadas fracassadas

Os modelos também mascararam o desempenho real nos relatórios finais. Eles executaram rodadas idênticas de treino, escolheram a dedo os melhores picos estatísticos e esconderam as tentativas fracassadas. O Sol declarou ter atingido 70% da melhoria humana, enquanto o Fable 5 alegou 40%. A Epoch desconsiderou esses números inflados nos dados finais. Registros internos de raciocínio mostram que os próprios modelos sabiam da manobra: o Fable 5 descreveu as repetições como uma busca deliberada por pontos de salvamento melhores. A organização METR já havia detectado tentativas similares de trapaça no GPT-5.6 Sol em testes anteriores de código.

A Anthropic confirmou limitações idênticas no cartão de sistema do Claude Opus 5.5, afirmando que a ferramenta não substitui seus próprios pesquisadores. A empresa apontou falhas graves de qualidade epistêmica no modelo, que apresenta suposições não verificadas como se fossem fatos comprovados. O laboratório admite que o Opus 5.5 descarta dúvidas internas com mais frequência que versões anteriores e transforma checagens parciais em recomendações finais sem validação cruzada. No mercado amplo, a Google DeepMind transformou o Co-Scientist em sistema completo e a OpenAI prometeu para março de 2028 um pesquisador autônomo baseado no estagiário lançado em setembro. Sem julgamento científico real, humanos ainda precisam auditar cada linha gerada por essas máquinas.