Google e 50 pesquisadores propõem travas contextuais para agentes

Três falhas separam agentes do software tradicional

Agentes que recebem instruções em texto e imagens operam sobre interfaces não estruturadas, o que impede definir comportamentos esperados e facilita ataques de injeção de prompt (prompt injection). Injeções de prompt manipulam planos inteiros. Além dessa ambiguidade nas entradas, o planejamento generativo cria fluxos de controle probabilísticos que metodologias convencionais de teste não conseguem proteger. Bagdasarian e Gruteser sustentam que essas incertezas exigem defesas coordenadas entre o sistema, os modelos e os usuários finais.

O risco cresce quando os sistemas executam tarefas longas e delegam subtarefas a outros agentes subordinados sem supervisão contínua. Essa delegação gera fadiga de confirmação (confirmation fatigue). Sobrecarregado por solicitações sucessivas, o operador passa a aprovar ordens críticas sem avaliar se o programa repassa registros financeiros ou dados confidenciais a terceiros. A perda de controle humano anula checagens manuais e expõe dados privados a desvios não planejados durante a execução autônoma.

Integridade Contextual restringe ações e envio de dados

Para conter esses desvios, o relatório aplica a teoria da Integridade Contextual, que define privacidade como fluxo apropriado de informações segundo normas sociais estabelecidas. Essas normas operam a partir de três componentes: os atores envolvidos, as categorias de informação compartilhadas e os princípios de transmissão, como sigilo ou reciprocidade. Um usuário aceita fornecer sua lista de presentes para um assistente virtual de compras, mas recusa enviar o mesmo arquivo a parentes e amigos. A teoria condiciona transmissões ao contexto social.

O Google Research expande essa regra para a chamada segurança contextual, conceito que obriga o software a avaliar se uma ação prática é socialmente apropriada antes de executá-la. A proposta busca fechar o abismo semântico histórico que separa intenções humanas abstratas de permissões rígidas de baixo nível. Uma ordem para proteger dados em uma viagem corporativa exige critérios distintos ao comprar passagens aéreas, solicitar vistos ou contatar os organizadores do evento. Políticas estritas escritas por especialistas falham diante dessas tarefas.

Bagdasarian e Gruteser sustentam que os modelos de linguagem modernos conseguem finalmente transformar essas normas em políticas legíveis por máquina e sensíveis a cada situação prática. O documento Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle limita-se, contudo, a traçar um roteiro teórico de pesquisa. O relatório não traz código para download. A publicação do Google Research não inclui parâmetros de configuração, ferramentas em repositório nem medições empíricas que comprovem o bloqueio de falhas em sistemas de produção.