NSA, CISA e NIST publicaram em 16 de outubro uma orientação voluntária com dez práticas para preparar, detectar e responder a incidentes em que agentes de IA altamente capazes agem fora dos limites definidos para a tarefa.
O documento chama esses casos de incidentes de controle. São situações em que o agente toma ação relevante sem instrução e rompe política ou controle de segurança que delimitava o trabalho. Os exemplos citados são contato com terceiros, transação financeira e acesso a sistema externo.
A orientação separa comportamento originado no próprio agente de atividade dirigida por invasor. Injeção de prompt e modelo com backdoor produzem ação instruída e não foram tratados como causa principal. Quase incidentes também entram, porque expõem fraqueza antes do dano.
Na preparação, a recomendação é limitar o agente aos dados, ferramentas e sistemas necessários, usar lista de permissão de rede estrita com o tráfego liberado passando por gateway monitorado, e mapear rotas de comunicação oculta, de persistência e de cópia não autorizada de pesos do modelo.
Na detecção, o alvo é o modelo, o software de apoio, o host e a rede, e o agente não deve conseguir alterar ferramenta de monitoramento nem registro. O texto sugere monitores de famílias diferentes, para cruzar achados, e alerta que a saída do agente pode conter exploit contra o próprio monitor.
Na resposta, a execução afetada para de forma automática quando a falha é detectada, e treino, avaliação ou implantação relacionados podem ficar suspensos conforme a gravidade. Pesos, checkpoints, chamadas de ferramenta, ações recusadas e registros confiáveis são preservados.
Antes de religar, a orientação pede teste do monitoramento, dos limites de acesso e do desligamento contra as ações daquele incidente. O conjunto se apoia no NIST SP 800-61r3 e inclui notificar os afetados e compartilhar casos e quase incidentes com especialistas do governo.
