Cohere Anuncia Computing Confidencial em Beta com NVIDIA H100 e Azure

Proteção de Dados em Uso com GPUs NVIDIA H100

A proteção funciona executando a inferência dentro de um ambiente confidencial que abrange CPU e GPU, com isolamento imposto por hardware que protege a memória de trabalho contra tudo que fique fora do limite confidencial, incluindo software de infraestrutura privilegiado e operadores. Com a tecnologia NVIDIA Confidential Computing, a memória da GPU é protegida e o tráfego entre CPU e GPU é criptografado enquanto o modelo realiza a inferência. Isso reduz o número de partes que a empresa precisa confiar com seus dados, permitindo que workloads mais sensíveis sejam levados à IA sem comprometer a segurança.

Verificação Remota e Criptografia de Ponta

Antes que dados sensíveis sejam enviados, o software do cliente verifica evidências criptografadas assinadas sobre o ambiente que os processará, incluindo hardware, firmware e configuração de software. Essa evidência é comparada a uma política de segurança aprovada; se o ambiente não atender aos requisitos, o cliente recusa a solicitação. Isso altera o modelo de confiança de "confie em nós" para "verifique você mesmo", conforme destacou Phil Blunsom, CTO da Cohere. Além disso, o Model Vault criptografa os payloads de aplicação de ponta a ponta para o ambiente confidencial atenuado, protegendo o conteúdo durante o trânsito por infraestrutura intermediária, e as respostas são protegidas no caminho de retorno. A solução está em beta público, rodando em GPUs NVIDIA H100 na Microsoft Azure, com requisito de acesso por meio da API do Model Vault, e é voltada para enterprises com dados altamente sensíveis. Embora a Cohere afirme que a tecnologia combina simplicidade de IA gerenciada com controles técnicos verificáveis, o anúncio é material da própria empresa, e a eficácia real dependerá de implementação e auditoria independente.