NVIDIA lança Snapshot: checkpoint e restauração de workloads GPU em segundos

---

O Snapshot não só salva o estado do modelo — incluindo CPU e GPU — como também evita re-inicialização total. Em benchmarks com NVIDIA B200 e VAST NFS, a restauração do GPU dominou o processo, com tempos entre 18 e 29 segundos, enquanto o restauro do núcleo CPU levou 4,2 a 10,8 segundos. Para modelos grandes, como mistura de especialistas (MoE), o sistema suporta até 1 TB de checkpoint distribuído entre oito GPUs, usando tensor, data e expert parallelism.

A integração é direta: equipes podem checkpointar workloads em execução ou restaurar em novos pods, usando Kubernetes Custom Resources. O código está disponível em repositório open-source com exemplos para vLLM, SGLang e TensorRT LLM. Crusoe e Saturn Cloud já demonstraram redução de readiness time de modelos como GLM-5.3 (de 8 minutos para 31 segundos) e vLLM (de 2–8,5 minutos para 6–34 segundos).

--- ## Como funciona: checkpoint e restauração em três passos O Snapshot opera em dois modos: checkpoint e restore. Para checkpointar, basta criar um PodSnapshot em um pod já rodando. Para restaurar, adicionar a anotação nvidia.com/restore-from a um novo pod. O processo pede apenas uma pausa mínima antes de salvar e resume onde parou.

A plataforma é compatível com workloads multi-GPU, mas exige que os modelos atendam a requisitos de checkpoint/restore e runtime. Não há suporte para GPU de modelos não compatíveis, e a restauração depende de infraestrutura com mesma versão do driver e hardware.

--- ## Para quem isso serve e onde está disponível O Snapshot é voltado para equipes que lidam com inferência em alta demanda, como fábricas de IA e pipelines de processamento de linguagem. É open-source e integrado ao DSX AI Factory, mas ainda não está pronto para uso geral. Acessível via repositório oficial da NVIDIA, com documentação e exemplos no Dynamo Slack.

A vantagem não é apenas o tempo: o custo operacional cai, pois evita reinicializações longas. Mas a adoção depende de infraestrutura compatível e modelos que suportem checkpoint. Enquanto isso, empresas que usam Kubernetes e GPUs NVIDIA têm uma nova ferramenta para escalar rapidamente em casos de falhas ou picos de tráfego.