Novo benchmark aberto investiga se modelos de ponta perdem capacidade após o lançamento

Dados rápidos

• Repositório: ninjahawk/livenerf
• Licença: não declarada no repositório
• Linguagem: Python
• Estrelas e forks: 482 estrelas (247 no período) e 5 forks
• Posição no ranking: sexta posição diária no Trendshift
• Data da consulta: 2026-09-30

O problema da degradação silenciosa

Usuários de sistemas avançados de processamento de linguagem frequentemente relatam que modelos de ponta sofrem piora semanas após chegarem ao mercado. Esse fenômeno, conhecido informalmente pela expressão nerf, costuma ser associado a técnicas de quantização, substituição de arquiteturas por versões menores, redução do esforço computacional em etapas de raciocínio ou mudanças dinâmicas no roteamento de requisições.

Apesar da recorrência dessas queixas, a maioria das discussões termina restrita a percepções subjetivas sem sustentação empírica. A ausência de uma linha de base calibrada exatamente no dia do lançamento impede que pesquisadores e empresas verifiquem se houve alteração real nos parâmetros de resposta ou se os relatos refletem apenas variações estatísticas isoladas.

Com a chegada do Claude Opus 5.5 em 2026-09-22, o autor iniciou o acompanhamento contínuo desde o marco zero da distribuição comercial. O objetivo central é substituir discussões baseadas em impressões por registros numéricos consolidados ao longo de semanas de testes ininterruptos.

Como funciona a medição contínua

O sistema opera sobre o Inspect, arcabouço de código aberto para avaliação mantido pelo instituto de segurança de inteligência artificial do Reino Unido. As rotinas estatísticas seguem a metodologia descrita no artigo técnico Adding Error Bars to Evals, publicado pela própria Anthropic, garantindo intervalos de confiança padronizados para cada lote de respostas.

Como os modelos atuais não permitem fixar parâmetros de amostragem via interface e executam rotinas de raciocínio obrigatórias, o benchmark torna fixos todos os outros elementos do experimento. O fluxo utiliza instruções congeladas, corretores automatizados rígidos e histórico permanente de registros brutos.

python -m livenerf.plot

A execução ocorre por meio de uma assinatura Claude Max utilizando a interface de linha de comando do Claude Code em modo sem interface gráfica (claude -p), sem chave de interface de programação de aplicações direta. O protocolo prevê 30 dias contínuos com uma execução diária cobrindo um painel fixo de 78 perguntas selecionadas dos conjuntos GPQA Diamond, MMLU-Pro, competições matemáticas e AIME 2025–26. Os dez primeiros dias estabelecem a linha de base comparativa, seguidos por duas janelas subsequentes de dez dias cada para identificar variações na taxa de acerto.

Casos de uso práticos

• Auditoria de fornecedores corporativos: equipes de engenharia podem verificar se contratos de acesso a modelos preservam a qualidade técnica contratada durante o ciclo de vida do produto.
• Monitoramento de custos e eficiência: organizações conseguem checar se reduções no volume de tokens de saída refletem quedas reais de raciocínio ou apenas ajustes de brevidade nas respostas.
• Pesquisa empírica sobre alinhamento e filtros: cientistas de dados podem rastrear como mecanismos de recusa e classificadores de segurança afetam o atendimento a problemas de biologia e matemática avançada.
• Validação independente de atualizações: desenvolvedores de aplicações contam com dados externos para decidir se mantêm versões congeladas ou se migram fluxos de trabalho para novas versões de modelos.

Diferenciais em relação a alternativas

A maioria dos benchmarks tradicionais avalia sistemas em uma única data estática, publicando pontuações definitivas que ignoram eventuais mudanças pós-lançamento. O livenerf adota registro contínuo com acréscimo diário de dados, criando uma série temporal comparável.

Outro ponto distintivo é a pré-seleção orientada a itens de média dificuldade. Em vez de testar milhares de questões triviais que o modelo sempre acerta ou erra, o projeto filtrou 78 problemas nos quais o sistema oscila, aumentando o poder estatístico para detectar desvios de 7,5 pontos percentuais por janela de dez dias com amostragem reduzida.

Limitações e pontos de atenção

O projeto apresenta restrições metodológicas e operacionais relevantes. Em testes de validação, a troca do Opus 5.5 pelo Opus 5 anterior não produziu diferença estatisticamente identificável no intervalo de confiança de 99%, indicando que variações sutis entre modelos da mesma família ainda escapam à sensibilidade do teste.

A auditoria das 78 perguntas do painel revelou que 8 gabaritos aparentam incorreção e 30 enunciados apresentam ambiguidade, demandando análises de sensibilidade paralelas. O repositório não possui licença formal declarada, não conta com lançamentos versionados e depende de um método de execução atípico via linha de comando sob assinatura comercial. A data de criação ocorreu em 2026-09-22, registrando apenas 1 chamada de suporte aberta e último envio de código em 2026-09-29.

Resumo rápido

• Projeto: livenerf
• Licença: não declarada no repositório
• Linguagem: Python
• Estrelas: 482
• Ranking: sexta posição diária no Trendshift
• Risco principal: ausência de licença de uso declarada e dependência de canal de execução não oficial

Fontes

• Repositório no GitHub: https://github.com/ninjahawk/livenerf
• Última versão: nenhuma release encontrada
• Página oficial: sem site oficial
• Ranking no Trendshift: Trendshift (daily: #6)