OpenAI defende regras globais e fixa 3 metas para conter riscos de AGI

Automação da pesquisa eleva perigo de autoaperfeiçoamento

As 3 diretrizes da publicação seguem planos recentes que Sam Altman e Jakub Pachocki divulgaram para orientar o avanço dos sistemas rumo à inteligência artificial geral. A OpenAI sustenta que pesquisadores automatizados baratearão o custo da inteligência avançada no mundo todo, multiplicando ganhos econômicos e resolvendo gargalos na pesquisa do alinhamento. O documento afirma que esse cientista artificial também atuará na segurança técnica, desenvolvendo escudos protetores antes da liberação comercial dos modelos. Altman e Pachocki exigem humanos no circuito.

Ao assumirem o trabalho de desenvolver sucessivas gerações de algoritmos, os modelos disparam o autoaperfeiçoamento recursivo, dinâmica que pode acelerar o progresso científico de forma incontrolável. A OpenAI admite no texto que o RSI totalmente autônomo não opera hoje e defende barrar a prática até que a sociedade estabeleça controle humano e decisões democráticas informadas. Sem salvaguardas rígidas, os cientistas perderão a capacidade prática de supervisionar processos de pesquisa que já não compreendem, transformando os sistemas em uma ameaça direta às pessoas. A perda de controle prático gera perigos irreversíveis.

Para exemplificar a gravidade da ameaça, o documento aponta a brecha recente de segurança que a própria OpenAI divulgou no repositório da plataforma Hugging Face. A empresa esclarece que a falha na Hugging Face não decorreu diretamente de autoaperfeiçoamento recursivo, mas antecipou riscos severos que surgem quando faltam barreiras técnicas e alinhamento robusto. O laboratório argumenta que sistemas mais capazes e alinhados são indispensáveis para proteger redes de infraestrutura crítica contra invasões disparadas por agentes autônomos perigosos. A vulnerabilidade na Hugging Face serviu de alerta.

Regras fragmentadas ameaçam defesas entre fronteiras

Para responder tecnicamente como mitigar riscos catastróficos, a OpenAI cita como bases o Center for AI Standards and Innovation (CAISI), leis estaduais norte-americanas e propostas de parcerias público-privadas de Demis Hassabis. O documento adverte que a fragmentação de testes e definições divergentes de incidentes entre governos impedem que especialistas comparem evidências e monitorem capacidades que cruzam fronteiras digitais. A falta de ação coletiva pode empurrar as nações para uma corrida desordenada por autoaperfeiçoamento algorítmico, produzindo cenários prejudiciais que nenhum país deseja enfrentar. Decisões unilaterais sabotam a proteção internacional.

Apesar do tom de urgência, a OpenAI divulga uma declaração de intenções políticas sem demonstrar nenhum protocolo técnico ou mecanismo independente de auditoria para aferir seus próprios modelos. O comunicado não estabelece limites mandatórios imediatos para os laboratórios privados nem detalha como a comunidade científica verificará o alinhamento desse pesquisador autônomo antes do lançamento comercial. Ao cobrar governança global e acordos multilaterais, a empresa tenta moldar os parâmetros que incidirão sobre concorrentes enquanto continua acelerando seu próprio projeto de AGI. O texto prioriza política antes de métricas.