Elias Biondo lança gateway em Rust com atraso de meio milissegundo

O motor em Rust dispensa processos auxiliares

O motor em Rust dispensa coletor de lixo. Cada núcleo do processador recebe uma thread de dados exclusiva para despachar pacotes sem formar filas internas. O mesmo executável empacota o tráfego de rede, o painel visual no navegador e as rotas administrativas sem exigir processos auxiliares. O software traduz chamadas entre os padrões da OpenAI, Anthropic, Gemini e Amazon Bedrock, repassando o tráfego para serviços externos como Vertex AI, Mistral, Groq, Cohere, DeepSeek e servidores vLLM.

Para proteger o orçamento, o sistema aplica limites de taxa e tetos de gastos em dólares ou tokens por organização, equipe, projeto e chave de acesso. O roteador decide o envio por menor custo, menor latência, divisão ponderada de carga, tentativas extras ou corte imediato por disjuntor. Filtros integrados barram dados pessoais, segredos corporativos e injeções de comandos no fluxo de texto antes que a resposta alcance o cliente. O nó opera sozinho ou com PostgreSQL e Valkey.

Colocar o serviço de pé exige apenas baixar o arquivo compilado ou iniciar a imagem oficial em um comando de terminal. A instrução docker run -p 8080:8080 -p 8081:8081 -v antirion-data:/var/lib/antirion eliasbiondo/antirion:0.1.1 mapeia o fluxo na porta 8080 e entrega o console visual no endereço 8081. O painel web surge pronto de imediato. Quem prefere rodar direto no Linux encontra pacotes para amd64 e arm64 assinados digitalmente com cosign e slsa-verifier.

Testes sob estresse expõem limites dos concorrentes

Em testes em instâncias dedicadas c7i.xlarge da AWS com quatro núcleos virtuais, o Antirion superou com folga o Bifrost 2.2.4 e o LiteLLM 1.103.1. Sob fluxo aberto de 5.000 requisições por segundo, o programa gastou 247 microssegundos de processador por chamada e ocupou 215 MiB de memória no pico, contra 1.389 MiB exigidos pelo Bifrost. Ao elevar o teste para 10.000 requisições por segundo, a sobrecarga média ficou em 0,61 milissegundo, contra 12,1 segundos no rival. O LiteLLM falhou com 100% de erros.

Apesar da vazão de 21.512 requisições por segundo com 64 conexões concorrentes, o projeto soma apenas nove dias desde a criação em 17 de outubro de 2026. A versão v0.1.1 saiu em 18 de outubro, o commit mais recente ocorreu em 25 de outubro e o repositório registra 351 estrelas, 7 forks e 3 chamados abertos. O histórico curto exige cautela em produção. Sob licença Apache-2.0, o código autoriza modificações e exploração comercial, mas não atende quem consome um único provedor sem intermediários ou depende de extensões prontas em Python.