Janas acelera modelos MoE em CPU: 37 tok/s em laptop com 32 GB RAM

Janas-LLM usa mixture-of-experts em C puro O Janas-LLM implementa arquitetura mixture-of-experts (MoE) escrita em C com zero dependências além da biblioteca padrão. Os pesos dos modelos ficam no disco, enquanto os especialistas necessários para cada token são carregados do SSD NVMe sob demanda. Os especialistas mais acessados permanecem na RAM, reduzindo latência. Um modelo de 80 bilhões de parâmetros roda e responde em um laptop com apenas 32 GB de RAM.

Roda em CPU com MoE e SSD NVMe

Instalar exige apenas um sistema compatível e um SSD NVMe. O pacote para Linux roda em Ubuntu 22.04 ou Debian 12+, enquanto a versão Windows requer Windows 10 (1903 ou posterior) ou 11. O código foi compilado com otimizações AVX2, aproveitando instruções modernas de CPU x86-64.

Baixar e usar leva menos de cinco minutos. O usuário baixa o pacote correspondente à plataforma, extrai o arquivo e abre um terminal na pasta janas. Dois comandos bastam: janas-get list para listar e baixar os modelos, seguido de janas-chat para iniciar a conversa. Quem quiser medir o desempenho na própria máquina pode rodar janas-bench --prompt 1024 --gen 16.

Os benchmarks mostram vantagem consistente sobre o llama.cpp. No Qwen3-Next-80B, Janas-LLM lê 62 tokens por segundo contra 16 do concorrente, e escreve 24 contra 2,8. Em modelos menores como o Qwen3-0.6B, a diferença explode: 939 tokens por segundo na leitura contra 670 do llama.cpp. Apenas em modelos quantizados em 3 bits o Janas perde na leitura, mas ganha três vezes na escrita.

Os testes foram realizados em outubro de 2026 em um laptop com processador Intel Core Ultra 9 185H, GPU integrada Arc, 32 GB de RAM e SSD NVMe. O sistema operacional era Debian 13 no Linux e Windows 11 na versão Windows. O Janas-LLM superou o llama.cpp em todos os 13 modelos comparados na mesma máquina.

GPL-3.0: liberdade para modificar, mas sem garantia

O projeto tem 29 dias de vida, mas já acumula 446 estrelas no GitHub e 34 forks. O último commit foi feito em 18 de outubro de 2026, mesmo dia da versão v2026.10.18. O código é licenciado sob GPL-3.0, o que permite uso livre, modificação e redistribuição, desde que a licença seja mantida nos derivados.

Cammalleri avisa: “Isso é um experimento, não um produto”. A API pública e a linha de comando mudam sem aviso prévio. Os arquivos .jns publicados no Hugging Face serão lidos por todas as versões futuras do Janas-LLM. A ferramenta não serve para quem precisa de estabilidade, documentação completa ou suporte comercial.