Pular para o conteúdo
NovidadesIA

Modelos e LLMs

RunanywhereAI lança TrnRT: inferência de LLM em Trainium2 com 1M tokens

Motor open source usa megakernels NKI e atinge 3,57M tokens/minuto com GLM-5.3-Flash

Edição: Anderson Gomes
· 2 min de leitura

RunanywhereAI lança TrnRT: inferência de LLM em Trainium2 com 1M tokens
Imagem: Reprodução · site do trnrt · licença livre · licença Apache-2.0

O TrnRT acelera a inferência de grandes modelos de linguagem em instâncias AWS Trainium2. A RunanywhereAI publicou o código aberto em 30 de outubro de 2026. Em 17 dias, o repositório já soma 1.588 estrelas no GitHub. Funciona com o modelo GLM-5.3-Flash de 320 bilhões de parâmetros e atinge 3,57 milhões de tokens por minuto em um único trn2.48xlarge.

Como funciona por dentro

Cada decode no TrnRT roda em megakernels NKI: um kernel fusionado por metade de camada que une KDA attention, camada DSA fusionada, mHC e MoE FFN. A ferramenta mantém contexto de 1 milhão de tokens com atenção esparsa (top 2.048) e atenção linear de estado fixo. Um prefix cache em árvore radix sobre páginas KV em FP8, com camada em host para páginas evictadas, acelera respostas quando o prompt já foi visto antes.

O hardware roda dois engines por trn2.48xlarge (16 chips, 2 engines × TP 32, LNC 2). Cada engine é tensor-parallel em 32 NeuronCores lógicos por trás de um roteador afim à sessão. A API é compatível com OpenAI: chat, completions, streaming, chamadas de ferramenta e saída de raciocínio. Tudo é compilado offline no CPU host; a caixa de serviço só carrega os binários prontos.

Instalação em três etapas

Para usar, constrói-se uma imagem Docker com Neuron SDK 2.32 e Python 3.13. Depois, compila-se o cache no CPU host — processo que leva horas mas não exige NeuronCore. Por fim, copia-se o cache e os megakernels para o trn2.48xlarge e dispara-se o servidor. Qualquer cliente OpenAI conversa com o TrnRT sem ajustes.

O projeto tem 17 dias e já soma 1.588 estrelas, 19 forks e 14 issues abertas. O último commit é de 11 de novembro de 2026 e a versão v0.1.0 saiu em 8 de novembro. A licença Apache 2.0 permite uso livre, modificação e distribuição, inclusive em ambientes corporativos.

Por enquanto, só o GLM-5.3-Flash (320B MoE, 18B ativos, FP8) é suportado. Mais modelos open source estão prometidos, mas dependem de contribuições. Quem não tem Trainium2 ou precisa de outro modelo fica de fora. Os benchmarks mostram custo de $0.040 por milhão de tokens em spot ($8.60/h) ou $0.167 em capacity block. A RunanywhereAI verificou 157 grafos em 32 ranks e validou 384 requests byte-a-byte contra a versão anterior.

  • Python
  • Apache-2.0
  • Modelos e LLMs
  • GitHub

Fonte: Repositório no GitHub · Como produzimos as matérias