NVIDIA adapta TensorRT LLM para computação confidencial em GPUs Blackwell

A computação confidencial protege a execução combinando máquinas virtuais confidenciais com memória criptografada, GPUs dedicadas e links NVLink cifrados. Esse isolamento de hardware impede que operadores de infraestrutura ou invasores acessem os pesos do modelo e o contexto das conversas. No entanto, a segurança altera a movimentação de dados e a sincronização entre múltiplos aceleradores. Sem ajustes diretos no runtime, o custo de criptografar a memória derruba a vazão do sistema. A segurança exige mudanças no código.

Ajustes no runtime compensam gargalos da criptografia

As transferências entre o processador hospedeiro e a GPU B200 passam por uma área intermediária criptografada por software, chamada bounce buffer. Por causa desse desvio, o TensorRT LLM abandonou o uso de pinned memory e passou a selecionar pageable memory para mover dados. A equipe também transferiu a leitura repetida de tokens para um processo assíncrono que roda em segundo plano. Essa separação libera a thread principal durante a fase de decodificação. O processamento não trava à espera do buffer.

A medição de tempo dentro do chip também precisou mudar. O mecanismo de ajuste automático de kernels do TensorRT LLM trocou os eventos tradicionais de CUDA pelo registrador %globaltimer da GPU. Sob computação confidencial, os sinais de temporização convencionais ficam instáveis e distorcem a escolha das rotinas matemáticas mais rápidas. O relógio interno do chip devolve a estabilidade necessária para calibrar os kernels com precisão.

Falta de multicast no NVLink impõe limites à rede

A arquitetura apresenta restrições práticas que exigem cuidado no desenho dos clusters. A tecnologia NVLS multicast não funciona nas configurações confidenciais da B200. Por conta dessa ausência, os frameworks de inferência precisam verificar em tempo de execução se o recurso está acessível e trocar o algoritmo de comunicação coletiva. A escolha do algoritmo passa a depender diretamente do tamanho das mensagens e da topologia física entre os aceleradores. Redes mal configuradas perdem desempenho rapidamente.

Os dados de desempenho divulgados vêm de um teste controlado desenhado pela própria NVIDIA para forçar o sistema. A medição usou o modelo nvidia/DeepSeek-R1-0528-NVFP4 com backend PyTorch, paralelismo de tensor em oito vias (TP=8), EP=1, PP=1 e cache KV em FP8. O teste aplicou sequências pesadas de 32 mil tokens de entrada para mil de saída, cenário que sobrecarrega a movimentação de memória e expõe o custo da criptografia. A fabricante recomenda consultar a documentação do NVIDIA Trusted Computing antes de subir nós em produção. O ganho real fora desse laboratório depende da carga de cada cliente.