OpenAI lança Decisions API com latência de 100 ms

Velocidade derruba custos e abre novos casos de uso

Nikunj Handa, líder de produto das APIs da OpenAI, disse que a equipe viu o Jev e identificou “um milhão de casos de uso”. A OpenAI não treinou um modelo específico para decisão. Reconfigurou o ChatGPT Luna para acelerar inferência de 1-3 segundos para 100-120-180 ms. Em testes internos, a latência caiu para 60 ms em cenários otimizados. A velocidade permite processar cada frame de vídeo em tempo real. A empresa afirma que pode treinar modelos específicos no futuro, mas por enquanto “é só Luna fazendo o serviço”.

O custo caiu de US$ 0,10 por milhão de tokens para US$ 0,03. A OpenAI distribuiu recursos de inferência por regiões para reduzir latência global. Clientes relataram redução de custos de 70% ao substituir LLMs pela Decisions API. A empresa anunciou o produto em 29 de setembro de 2026 durante o Developer Day.

Clientes como Box, Datadog, Ramp e Speak já usam a API em produção. Na Speak, o tempo entre ações caiu de 1,4 segundo para 0,13 segundo. A OpenAI aplicou o produto para melhorar a resposta do assistente Dots de 2,1 segundos para 0,4 segundo. A API oferece voz e visual como novas modalidades desde o lançamento público. A empresa trabalhou para garantir latência abaixo de 200 ms em todas as regiões.

A Decisions API está acessível via endpoint único. Não exige treinamento adicional ou calibração específica. A OpenAI não informou limite de requisições por minuto. Clientes podem usar a mesma chave de API do ChatGPT Luna. A empresa não divulgou data para lançamento de versão enterprise ou on-premise.

TypeSafe, criadora do Jev, não confia em benchmarks. O CEO Diogo Almeida recomenda testar modelos na própria aplicação. TypeSafe lançou rankings próprios na semana passada. O Jev lidera no JevMan, benchmark onde modelos jogam PacMan com 98% de acerto. Nos índices AIM System One e Artificial Analysis Decision, o Jev ficou em 7º e 3º lugar. A Decisions API da OpenAI aparece em 8º e 14º.

A TypeSafe tem os modelos mais procurados no OpenRouter com 12 mil requisições por dia. A OpenAI argumenta que sua vantagem está em multimodalidade. “Luna é extremamente poderosa em classificação de imagens e calibração”, disse Handa. Clientes pedem flexibilidade para usar imagens como saída também. O Jev suporta imagens e smart-if statements desde a última atualização.

A OpenAI não definiu o que torna um modelo de decisão bom além de “funcionar na sua aplicação”. Otimização de inteligência, custo, calibração e velocidade varia por carga de trabalho. Handa afirmou que a empresa pode treinar modelos específicos no futuro. Por enquanto, a Decisions API usa “plain old Luna that gets the job done”.