OpenAI reduz latência do ChatGPT 12 vezes com Habitat

Antes, cada time da OpenAI mantinha seu próprio sistema de armazenamento. Isso gerava sobreprovisionamento caro e isolamento de workloads. A empresa migrou para um modelo multi-tenant centralizado no Azure Cosmos DB. Mas enfrentou problemas de "vizinho barulhento", onde um tenant consumia recursos demais. A OpenAI passou por três fases: começou com um container multi-tenant único, depois migrou para containers single-tenant. Voltou ao multi-tenant usando containers co-gerenciados com a Microsoft.

Habitat começou como uma biblioteca Python e um banco de dados simples em 2024. A equipe usou técnicas para transformar o serviço Python em algo escalável. Isso permitiu empurrar limites considerados impraticáveis para Python. Na primeira parte da série, publicada em setembro de 2026, a OpenAI contou como chegou até ali.

Cada conta no Azure Cosmos DB agrupa containers e define política de replicação. Os containers têm throughput provisionado em RU/s. Dados são particionados por chave lógica, com limites de 20 GB de storage e 10 mil RU/s por chave. Quando storage ou throughput excedem esses thresholds, o Cosmos DB divide automaticamente em múltiplas partições físicas. A OpenAI enfrentou colisões frequentes em chaves comuns como user_id e workspace_id.

Aposta em containers compartilhados

A OpenAI admite que ainda está no início da jornada multi-tenant. Usou primitivos prontos do Azure Cosmos DB para adiar investimentos pesados. A parceria com a Microsoft ajustou throughput e replicação globalmente. O resultado é um sistema que escala sem perder performance para 40 regiões.

A empresa não divulgou custo de migração ou impacto específico em escrita. Também não explicou como mede os "12 vezes mais rápido" na prática. Afirma que Habitat agora é multi-tenant para dezenas de produtos. Mas mantém reservas sobre quão madura é essa abordagem.

Pontos de atenção da migração

A plataforma ainda depende de ajustes manuais em throughput por container. Os limites de partição lógica do Cosmos DB continuam um ponto de atenção. A OpenAI promete mais detalhes na segunda parte da série sobre Habitat. A empresa não divulgou quando a migração foi concluída ou quantos containers estão em produção atualmente.