Meta lança modelo aberto de 816 bilhões de parâmetros para programar

Arquitetura MoE ativa 42 bilhões de parâmetros por token

A novidade amplia a série iniciada com o Muse Glimmer, modelo denso e menor que a empresa colocou no ar em agosto para rodar localmente. Ambas as versões usam o mesmo vocabulário e o mesmo tokenizador, além de um modelo de diálogo que aceita capturas de tela e áudios gravados. A Meta treinou o Muse Spark Open para refatorar múltiplos arquivos ao mesmo tempo, depurar programas e acionar ferramentas externas. O sistema também navega na web.

A estrutura principal opera com 62 camadas, dimensão oculta de 8192 e atenção por consulta agrupada dividida em 128 cabeças de consulta e 16 de chave-valor. Em vez de redes densas comuns, cada camada traz um bloco de mistura de especialistas com 256 unidades, das quais o roteador escolhe oito por token. Cada especialista projeta os dados de 8192 para 4096 dimensões e retorna para 8192 antes de normalizar a saída. Os especialistas concentram 97% dos parâmetros.

Para processar mídia visual, a Meta incluiu um codificador de percepção com 1,8 bilhão de parâmetros e 50 camadas, idêntico ao modelo Muse Glimmer 30B. O componente divide cada imagem em blocos de 14 por 14 e gera vetores com 4096 dimensões, usando camadas alternadas de atenção esparsa e atenção completa. O canal de áudio trabalha com um tokenizador próprio que gera 12,5 tokens por segundo, emitindo um sinal a cada 80 milissegundos. Vídeos entram pelo mesmo caminho visual.

Demanda de memória impõe nós avançados da NVIDIA

Embora calcule apenas cerca de 42 bilhões de parâmetros por token, o servidor precisa manter todos os 816 bilhões carregados na memória de vídeo. O arquivo no formato BF16 ocupa cerca de 1,5 TB em safetensors e exige quatro nós com oito aceleradores H200 da NVIDIA em paralelo de tensores (TP=32). Para reduzir a barreira, o repositório traz a versão quantizada em 4 bits Muse-Spark-Open-816B-A42B-NVFP4, que roda em um único nó B200 da arquitetura Blackwell. O gasto com hardware continua alto.

Pesquisadores do HuggingFace como Pedro Cuenca, Quentin Gallouédec e Alvaro Bartolome publicaram receitas para carregar o modelo com vLLM, SGLang e llama.cpp. A Meta apresenta o Muse Spark Open como o modelo de pesos abertos mais capaz desenvolvido nos Estados Unidos até o momento. A empresa assegura que o sistema planeja, age e corrige falhas sozinho durante tarefas complexas, mas o setor aguarda testes independentes para checar essas promessas. Ninguém roda esse modelo em computadores comuns.