RustingStrata supera llama.cpp e gera 80 tok/s em GPU de 12 GB
Motor em Rust divide camadas MoE entre placa de vídeo e processador para rodar modelos GGUF que extrapolam a VRAM.
Edição: Anderson Gomes
· 3 min de leitura

Quem roda modelos pesados em placas modestas ganha uma alternativa com o RustingStrata, motor de inferência em Rust lançado pela RustingStudio em 10 de outubro de 2026. O software executa arquivos GGUF maiores que a memória de vídeo dividindo o cálculo entre a placa gráfica e o processador. Em uma GeForce RTX 3060 de 12 GB, o programa decodifica o modelo Qwen3.6-35B-A3B UD-Q5_K_M a 80,5 tokens por segundo, contra 64,4 do llama.cpp. A velocidade atende quem hospeda servidores locais.
O sistema compila instruções CUDA em tempo de execução via NVRTC com a biblioteca cudarc, sem depender da biblioteca ggml. O código dispensa etapas em C++. As mesmas rotinas funcionam no backend Vulkan acionado pela opção --backend vulkan. Enquanto a placa calcula sua parte, o processador executa os especialistas excedentes em lote único e ajusta o posicionamento conforme o tráfego observado.
Servidor integra rotas locais e acelera modelos
O binário traz servidor local compatível com as APIs da OpenAI e da Anthropic, além de aceitar requisições do protocolo MCP sem chave. Essas rotas recusam cabeçalhos de proxy. A versão 1.2.6 adicionou suporte ao modelo Hy4-flash, aos formatos de cache --kv q4 e --kv q2 e rotinas para AVX-512 e AMD RDNA 3.5 WMMA. A lista de compatibilidade inclui famílias como Qwen3, DeepSeek-V4.1-Flash, GLM-5.3-Flash, Inkling 2 Mini e Recursive Flint.
Quem adota o projeto pode subir a imagem Docker com suporte a CUDA e Vulkan descrita em docs/HOSTING.md ou compilar o código diretamente em Rust. O servidor inicia com o comando rustingstrata serve --gpu --ctx 8192 --mtp 0 apontando para o arquivo GGUF escolhido. Na primeira execução, a rotina calibrate reconhece a placa instalada e grava as medições na pasta indicada pela variável XDG_CACHE_HOME. O processo mantém arquivos na memória.
Ganho de velocidade convive com licença indefinida
No teste com o arquivo Qwen3.6-35B-A3B-UD-Q2_K_XL.gguf de 11,7 GiB, a ferramenta atinge 113,4 tokens por segundo no decode após prompt de 4K, superando os 66,5 do llama.cpp. O modo MTP alcança 160 tokens por segundo. A concordância de tokens gulosos com o rival atinge entre 98% e 99%, com divergências causadas pela ordem de arredondamento nos cálculos entre placa e processador. Ao simular uma placa de 6 GB com a flag --vram-margin, o motor sustenta 97 tokens por segundo após prompt longo.
O repositório tem 43 dias de vida, soma 353 estrelas, 41 forks e 16 chamados abertos no GitHub. A equipe publicou a versão v1.2.6 em 19 de novembro de 2026 e enviou o último commit em 22 de novembro de 2026. A idade curta exige cautela. Atualizações recentes corrigiram falhas no estado oculto do modelo Flash-Next com MTP e adicionaram checagens de dimensão para adaptadores LoRA de especialistas.
A licença consta como não declarada, indicando que o autor não declarou formalmente os termos de uso do código no repositório. Essa indefinição afasta departamentos jurídicos. A ferramenta também não serve para quem opera apenas em processador sem placa de vídeo dedicada da Nvidia ou AMD com suporte a Vulkan. Usuários que trabalham com formatos proprietários ou modelos densos fora do padrão GGUF suportado precisam buscar outros motores de inferência.
- Rust
- IA Local e Self-Hosted
- GitHub
Criador indiano lança ferramenta que corta transmissões longas em 97 segundos
Programa em Python de Ajay K Meena processa vídeos locais ou da web sem enviar arquivos para a nuvem.
· 4 min de leitura

Buddy usa IA local para controlar Android e já tem 307 estrelas
· 3 min de leitura

Yogurt grava reunião e resume sem nuvem, feito pela Frigade em 7 dias
· 2 min de leitura

Kokon edita fotos com IA local e sem limites diários por GabrieleLozupone
· 3 min de leitura