Project Maya roda modelo de 321 bilhões de parâmetros fora da nuvem

O motor divide o modelo entre GPU, RAM e SSD

O GLM-5.3-Flash ativa cerca de 18 bilhões de parâmetros por token em uma arquitetura Mixture of Experts com contexto de até 1 milhão de tokens. Para evitar a exigência de um centro de dados corporativo, o Project Maya mede a velocidade da GPU, da CPU, da memória RAM e do SSD NVMe para ajustar o fluxo de trabalho. A ferramenta mantém os especialistas mais ativos na placa gráfica, joga os intermediários para a RAM e lê os restantes direto do disco veloz. A troca ocorre em tempo real.

As quantizações próprias do projeto preservam entre 97,7% e 99,2% da precisão original do modelo FP8 fornecido pela Z.ai, mantendo o bloco MTP para adiantar tokens. O pacote Maya-S24 consome 94,7 GB ao usar atenção em 4 bits, liberando cerca de 1,5 GB de VRAM para acelerar a decodificação em 14%. Testes de usuários registraram 118 tokens por segundo com quatro placas RTX 4090 operadas por @0xPreDa, enquanto @siganos obteve mais de 30 tokens por segundo em uma única RTX 5090. O processamento responde a até oito requisições simultâneas.

A instalação dispensa passos manuais complexos no terminal. O usuário executa o script ./setup.sh no Linux ou START-MAYA.bat no Windows para que o instalador analise a máquina, recomende a versão adequada entre Maya-S, Maya-M ou Maya-L e compile o motor em C++. A plataforma sobe um painel de monitoramento com chat no navegador e expõe uma API compatível com os padrões da OpenAI e da Anthropic. Essa interface aceita chamadas de ferramentas prontas para agentes de código e oferece suporte nativo a imagens.

Sete dias de vida exigem cautela antes da produção

Na versão v1.1.8, lançada em 14 de outubro de 2026, colaboradores corrigiram falhas de amostragem especulativa em placas Turing com a flag STRATA_GLM_SPEC_SAMPLE=1. O colaborador @Tsury ajustou tabelas para a biblioteca hipBLASLt 100401 da AMD na arquitetura Strix Halo, reduzindo o tempo de leitura de prompts de 52 para 29 segundos. O sistema também incluiu leitura de progresso em fluxos contínuos via parâmetro "return_progress": true. O avanço veio da comunidade.

Apesar do interesse rápido, com 798 estrelas e 94 forks acumulados em apenas sete dias de existência, o repositório mantém 39 issues abertas no GitHub. A licença MIT garante liberdade comercial irrestrita para uso, modificação e distribuição do código-fonte. A ferramenta não serve para quem busca estabilidade corporativa imediata ou não possui hardware potente com dezenas de gigabytes de memória e armazenamento SSD veloz. Ambientes de produção exigem paciência.