Nvidia comprime modelo visual Qwen de 125 bilhões de parâmetros para 96 GB

O modelo processa texto, imagem e vídeo em formatos como MP4 e WebM para devolver respostas escritas. A janela original aceita 262 mil tokens de contexto e estica até 1 milhão. A arquitetura mistura especialistas com atenção híbrida entre camadas de Gated DeltaNet e blocos esparsos do Qwen. A Nvidia gerou os arquivos com o kit nvidia-modelopt na versão v0.47.0, empregando destilação guiada por quantização. O download soma 21 arquivos no formato safetensors.

Hardware local exige placas profissionais Blackwell

Nenhum computador comum de mesa carrega esse peso. O arquivo de 96 GiB pede GPUs com a microarquitetura Blackwell da Nvidia e sistema operacional Linux. A empresa validou o código em uma placa individual RTX PRO 6000 Blackwell com descarregamento da tabela de n-gramas na memória principal, liberando 850 mil tokens de cache KV em FP8. O sistema também rodou no servidor DGX Spark, que bate 1 milhão de tokens de cache sob o mesmo arranjo. O porte barra chips caseiros.

A execução direta no motor vLLM oficial ainda depende de ajustes externos. Os fatores de escala do formato NVFP4 usam uma compressão sem perda que o código central do vLLM ainda não incorporou. Por causa dessa trava, o usuário precisa rodar os contêineres que a Nvidia preparou para a distribuição. A saída padrão opera apenas com placas gráficas aceleradas por CUDA. Placas de outras marcas continuam fora da lista de suporte.

Termos liberam trabalho comercial com regras duplas

Quem colocar o sistema em produção pode cobrar pelo serviço. A Nvidia liberou os pesos tanto para uso comercial quanto para testes internos. O uso segue o acordo de licença aberta da própria fabricante, mas o usuário também precisa respeitar os termos da Qwen Community License 1.0, que governa o projeto base da Alibaba. As duas regras convivem. Desenvolvedores de agentes conversacionais ganham um ponto de partida pronto, sem arcar com o custo de quantizar redes desse volume em casa.