OpenAI detalha como opera o Habitat para atender 1 bilhão de usuários

De biblioteca em Python a serviço centralizado

O Habitat estreou no DevDay de 2023 para dar suporte aos GPTs, funcionando inicialmente como uma biblioteca de cliente escrita em Python conectada a um único banco de dados. Naquela largada, o código traduzia comandos simples para o Azure Cosmos DB e resolvia tarefas básicas sem exigir conhecimento de infraestrutura dos desenvolvedores. A ferramenta assumiu a responsabilidade por checagem de esquema, roteamento, autorização, criptografia, serialização, formatação de requisições e pool de conexões. Isso poupou esforço das equipes internas. Com o tempo, os próprios times adicionaram suporte a cache no cliente e compressão diretamente na biblioteca.

A demanda cresceu mais de dez vezes ao ano durante três anos consecutivos. Em meados de 2025, a execução direta no lado do cliente bateu no teto operacional. Alterações de protocolo com compatibilidade retroativa tornaram-se inviáveis porque a empresa somava dezenas de serviços diferentes e não mantinha controle centralizado sobre as atualizações. Quando a equipe técnica tentou migrar conjuntos críticos de dados para contas distribuídas do Azure Cosmos DB para reduzir o raio de impacto de eventuais quedas regionais, o processo travou na burocracia de coordenar versões.

Para destravar a operação, a OpenAI transformou a biblioteca em um serviço independente. A separação lógica isolou a camada de persistência e criou um ponto único de controle para publicação de código, observabilidade e melhorias na plataforma. A mudança também permitiu esconder do desenvolvedor de produto a origem física do dado, seja ele vindo do Azure Cosmos DB, de caches ou de outras mídias. O serviço manteve Python na pilha de atendimento, uma escolha incomum para tráfego dessa magnitude.

Detalhes técnicos e métricas ficam para o próximo relato

A publicação é a primeira parte de uma série de dois artigos assinada pela própria OpenAI sobre o crescimento de sua infraestrutura. O texto funciona como um relato institucional e traz apenas as métricas gerais de pico declaradas pela empresa, sem abrir auditoria externa ou números de latência ponta a ponta. Engenheiros acostumados a projetar sistemas para saltos de dez vezes a cada poucos anos precisam confiar nas afirmações da companhia sobre capacidade.

A empresa afirma que o sistema gerencia mudanças de dados via CDC e absorve gargalos de computação e armazenamento enquanto ganha tempo para investimentos estruturais. O anúncio, contudo, postergou temas cruciais de arquitetura para a segunda parte da série. Ficaram de fora a estratégia de otimização de leitura em camadas, a confiabilidade em cenários multi-inquilino em escala e os detalhes da parceria técnica com a Microsoft para expandir o Azure Cosmos DB. A OpenAI não informou quando publicará o próximo texto.