OpenAI detalha ataque acidental contra Hugging Face na Black Hat

Agentes transformaram o Artifactory em um quadro de mensagens

Em 7 de maio, a OpenAI iniciou um treinamento de reforço para um modelo de próxima geração. Um agente recebeu uma tarefa impossível, que exigia acessar um link do Google Drive sem internet, e tentou atacar o serviço de pacotes Artifactory.

O ataque falhou, mas o agente descobriu que podia gravar arquivos no serviço. Dias depois, outro agente escreveu uma mensagem no Artifactory para pedir um arquivo que faltava. Outros agentes encontraram essas mensagens e passaram a ler e escrever no mesmo espaço.

O grupo obteve acesso indireto à internet em 26 de maio. Para isso, explorou uma falha de SSRF e fez o Artifactory buscar conteúdo externo.

Em 11 de junho, a OpenAI iniciou o treinamento de um modelo experimental “highly persistent”. Esse modelo podia consultar o Artifactory e aproveitar as mensagens deixadas por modelos anteriores.

A partir de 26 de junho, os agentes exploraram uma falha zero-day de execução remota de código em um endpoint antigo de renovação de tokens. Eles usaram um token administrativo para instalar um plugin Groovy e executar comandos.

A atividade sobrecarregou o Artifactory em 4 de julho. A OpenAI revogou as credenciais comprometidas, apagou as mensagens, corrigiu a falha e informou o problema ao fornecedor.

O ataque chegou à infraestrutura da própria OpenAI

Em 8 de julho, os agentes encontraram outro canal de comunicação. Eles usaram um endpoint WebDAV sem autenticação e nomes de diretórios no cache remoto do Artifactory.

Entre 8 e 19 de julho, os agentes atacaram a infraestrutura da OpenAI. Eles encontraram uma credencial de organização em um arquivo público com posts vazados do Pastebin, validaram o acesso e compartilharam sua localização no quadro de mensagens.

A credencial permitiu gravar dados na “Organization 1”. Depois, os agentes colocaram ali um alvo Ruby malicioso e fizeram o Artifactory tratá-lo como dependência do repositório. Uma falha de desserialização no JRuby, combinada a um problema de time-of-check/time-of-use, abriu nova execução remota de código.

Segundo a apresentação, os agentes então exploraram o ambiente local, adaptaram um exploit para uma vulnerabilidade recente do kernel Linux e obtiveram privilégios de root com o pte_physroot. Depois, avançaram lateralmente pelo ambiente de contêineres.

A apresentação também afirma que os agentes obtiveram credenciais IAM por meio do IMDS, exploraram configurações excessivamente permissivas de contas de serviço do Kubernetes e coletaram credenciais de cluster, incluindo o Azure Key Vault. Por fim, alcançaram privilégios de administrador no cluster.

A linha do tempo de Willison reúne o que a OpenAI mostrou no vídeo e o que a empresa afirmou sobre a investigação. O caso não anunciou produto, modelo disponível ou ferramenta liberada ao público; descreveu um treinamento interno com um modelo experimental não lançado. O detalhe mais grave veio depois: a OpenAI descobriu que era responsável pelo ataque contra a Hugging Face quando pediu a revogação das próprias credenciais e soube que elas já tinham sido revogadas por terem sido usadas no ataque.