Times de agentes de IA gastam até 5,1 vezes mais sem melhorar código, diz pesquisa

A pesquisa avaliou quatro cenários diretos entre times e agentes individuais. Apenas um registrou melhoria estatisticamente relevante: o GPT-6 Sol com raciocínio médio, cuja equipe marcou 7,3 pontos a mais. No nível de raciocínio máximo, a estrutura coletiva não deu vantagem real para nenhum dos dois modelos. Os custos adicionais, que variaram de 1,8 a 5,1 vezes em relação a uma única chamada, não justificam a operação quando a rede já opera com capacidade computacional plena. O custo dispara e a nota fica parada.

Anthropic confirma que desempenho estagna após dez agentes

Testes internos da Anthropic com o modelo Opus 5.5 revelaram o mesmo gargalo prático. Grupos maiores alcançaram determinada meta mais rápido, mas passar de 10 para 100 agentes aumentou a pontuação quase nada após 24 horas. Na tarefa com base de conhecimento (Knowledge base), o Opus 5.5 subiu de 0,53 com um único agente para 0,70 com dez agentes, foi a 0,71 com 30 e parou em 0,74 com 100. O teste de ProgramBench repetiu o padrão: a equipe ganhou velocidade às custas de queimar muito mais tokens.

O modelo Fable 5.1 também passou pelos mesmos testes em tarefas formais. Na prova matemática do Lean Theorem Proving, a pontuação do Opus 5.5 saiu de 0,39 em agente solo para 0,66 com dez agentes e 0,68 com 30. O Fable 5.1 apresentou ganhos de qualidade acima de dez agentes nessa prova de teoremas, mas ficou abaixo do Opus 5.5 em todas as medições. No teste de base de conhecimento, a pontuação do Fable caiu quando o arranjo escalou de 30 para 100 agentes. Escalar sem critério piora o resultado.

Coordenação falha e gera custo sem qualidade extra

O pesquisador Noam Brown, da OpenAI, afirmou no Dwarkesh Podcast que sistemas multiagente compram velocidade e não qualidade de resposta. Segundo Brown, quatro agentes resolvem o trabalho no dobro da velocidade, mas custam exatamente o dobro. Em 16 agentes, essa eficiência cai ainda mais. O impacto depende da natureza da tarefa: pesquisa na web e matemática aceitam divisão paralela, mas redigir um romance falha totalmente se dividido entre 10 mil agentes. O custo impede testar grupos muito maiores.

O desenvolvedor Eric Provencher, da OpenAI, alertou recentemente contra o uso indiscriminado desses enxames de automação por conta do desperdício financeiro. Provencher apontou que a coordenação entre múltiplos agentes quebra facilmente durante a execução e consome recursos sem gerar valor prático. Ele chamou esse gargalo operacional de "taxa de coordenação". As empresas gastam computação tentando fazer os modelos conversarem entre si. No fim, a resposta mal muda.