NVIDIA Lança Dory1.0-4B com 4B de Parâmetros e Arquitetura Looped

Arquitetura e Formatos

A pilha é dividida em Input (8 camadas), Recurrent (20 camadas) e Output (8 camadas), com o bloco recorrente aplicado多次 entre entrada e saída, reinjetando a entrada a cada loop. Isso faz o modelo gastar mais compute por token, pensando no espaço latente em vez de alongar saídas. O contexto é de até 256K tokens, o suporte é apenas para inglês e os pesos estão em formato safetensors. O modelo é disponível em BF16, MXFP8, NVFP4 e Q5_K_M, e foi pré-treinado nativamente em NVFP4 antes de continuar em BF16. A licença é OpenMDW-1.1, que autoriza uso comercial e não comercial.

Limitações e Hardware

Em benchmarks, o Dory1.0-4B marca 27.3 em SciCode com 1 loop, 34.94 com 2 loops e 35.11 com 4 loops; 50.3 em SWE-bench Verified com 1 loop e 59.5 com 2 loops; e 12.5 em Terminal-Bench 2.1 com 1 loop, subindo para 22.2 com 4 loops. O formato Q5_K_M permite rodar em CPU ou GPU moderada, enquanto BF16 exige mais recursos. A funcionalidade de last-loop KV caching reduz overhead de memória, mas o dossiê não informa requisitos de memória específicos, então a viabilidade em máquinas de desenvolvedor depende da escolha do formato e do hardware disponível. O modelo é limitado a apenas um idioma: inglês.

A licença OpenMDW-1.1 é permissiva, permitindo uso comercial sem custos adicionais, o que é decisivo para desenvolvedores que buscam integrar IA em produtos. No Brasil, onde o acesso a datacenters é limitado, opções como o Q5_K_M podem acelerar a adoção por startups e pesquisadores, reduzindo barreiras de infraestrutura. Esse lançamento se encaixa no movimento de pesos abertos, reforçando a presença da NVIDIA com soluções eficientes para quem precisa de IA de baixo custo.