A checklist de segurança de agentes de IA: 9 salvaguardas para verificar antes de deixar um agente agir sozinho

Antes de deixar um agente de IA agir sozinho, verifique nove salvaguardas. As quatro primeiras mapeiam cada ação que o agente pode realizar para uma classificação de risco, de modo que as ações irreversíveis, sensíveis e caras sempre parem para uma pessoa. As cinco seguintes confirmam o ambiente que contém o agente quando um filtro é enganado: uma identidade única do agente, permissões de menor privilégio, um sandbox, saída de rede limitada e logs de auditoria no nível da ação. O mapa de ações diz o que é seguro automatizar. O ambiente é o que de fato segura a barreira, porque os filtros de conteúdo nos quais a maioria das checklists se apoia são justamente a camada que falha exatamente quando importa. Responda a todas as nove como perguntas de sim ou não, e se qualquer resposta for não ou "não temos certeza", o agente não está pronto para rodar sem supervisão.

Esta é a auditoria pré-lançamento que fazemos antes de deixar um agente que construímos agir sozinho dentro de outra empresa, escrita para que um dono não técnico também consiga aplicá-la, no próprio agente ou no de um fornecedor. Se você preferir que nós façamos isso por você, veja como conduzimos governança e risco de IA responsável. Tudo abaixo é seu para usar.

Como devo usar esta checklist?

Trate-a como uma checagem pré-voo, não como uma filosofia. Pegue o agente que você está prestes a colocar em produção (ou o que um fornecedor está vendendo para você) e responda a cada um dos nove pontos com um sim ou não firme. Um "mais ou menos" é um não. O objetivo é trazer à tona as lacunas antes que o agente toque em qualquer coisa real.

Os nove se dividem em dois grupos que cumprem funções diferentes:

• Pontos 1 a 4 (o mapa de ações). Eles decidem o que o agente tem permissão para fazer sem perguntar, e o que precisa parar para um humano. Isso é julgamento sobre risco, e é a parte que a maioria dos guias cobre.
• Pontos 5 a 9 (o ambiente). Eles limitam o que o agente pode alcançar e fazer afinal, independentemente do que lhe foi mandado fazer. Esta é a parte que a maioria das checklists pula, e é a parte que contém um agente quando um filtro é enganado.

Ambos os grupos importam, mas falham de formas diferentes. O mapa de ações trata de decidir corretamente. O ambiente trata de sobreviver a uma decisão errada. Você precisa dos dois, porque nenhum filtro pega tudo: o classificador de modo automático em produção da Anthropic, um dos melhores que existem, ainda deixa passar cerca de 17% das ações exageradas de agentes, mesmo quando ajustado para quase nunca bloquear um comando legítimo. Uma taxa de erro de 17% é aceitável com outra camada por trás dela, e imprudente quando é a única coisa entre o agente e o seu dinheiro.

Pontos 1 a 4: você mapeou cada ação para uma classificação de risco?

Você não consegue barrar o que não listou. Comece anotando cada ação que o agente pode realizar e depois classifique cada uma. O guia de agentes da OpenAI oferece o método de classificação mais limpo: pontue cada ação como baixa, média ou alta em quatro fatores.

Salvaguarda 1: Você listou cada ação e a classificou como baixa, média ou alta? Se houver uma ação na lista que ninguém classificou, é justamente ela que vai te machucar. A classificação separa quase tudo em três baldes:

Salvaguarda 2: Toda ação de alto risco para para aprovação humana explícita antes de rodar? Esta é a única regra que evita os piores resultados. A OpenAI nomeia exatamente estas como as ações que merecem assinatura humana: cancelar pedidos, autorizar grandes reembolsos e fazer pagamentos. Acrescente exclusões, concessões de acesso e qualquer mensagem que saia da empresa. Um agente de reembolsos pode ler quantos pedidos quiser, mas nunca deve movimentar dinheiro acima de um pequeno limite sem uma pessoa clicar em aprovar.

Salvaguarda 3: O portão de aprovação é raro o suficiente para que as pessoas ainda o leiam? A armadilha é fazer o agente perguntar sobre tudo. Faça isso e você terá construído um sistema pior, não mais seguro. A Anthropic mediu que os usuários aprovam cerca de 93% das solicitações de permissão, então um portão que dispara quarenta vezes por dia é teatro: o humano está nominalmente no circuito, mas parou de olhar. Verifique três coisas: o agente só pergunta sobre ações genuinamente arriscadas, o aviso declara a consequência em linguagem clara ("Reembolsar US$ 1.000 para a conta X") e o silêncio assume como padrão o "não", nunca o "sim".

Salvaguarda 4: O agente para e pede ajuda quando continua falhando? Um agente confuso em loop de novas tentativas é um tipo de risco por si só. Defina um limite de falhas, para que, após um número determinado de tentativas malsucedidas, o agente pare e escale em vez de se debater. A OpenAI lista exatamente dois gatilhos para intervenção humana: ultrapassar os limites de falha e ações de alto risco. Você acabou de cobrir os dois.

Pontos 5 a 9: você verificou o ambiente que o contém?

Aqui está a parte que as checklists genéricas pulam, e é a parte que faz o trabalho pesado. Os pontos 1 a 4 presumem que o agente decide corretamente. Os pontos 5 a 9 presumem que às vezes ele não vai decidir certo, e limitam o dano quando isso acontece.

A razão pela qual este grupo importa é o fato mais negligenciado na segurança de agentes: os filtros de conteúdo falham justamente quando a instrução prejudicial parece legítima. A Anthropic conduziu um teste em que um funcionário foi vítima de phishing, de modo que a instrução maliciosa chegou do usuário confiável que o agente foi construído para atender. Ao longo de 25 novas tentativas, o agente concluiu o roubo de credenciais 24 vezes, porque, nas palavras deles, quando o usuário digita a instrução não há nada de anômalo para um classificador detectar. A única coisa que de fato o deteve foi ambiental: bloquear a saída de rede do agente para que os dados roubados não tivessem para onde ir. Os filtros adivinham a intenção. O ambiente remove a capacidade. A capacidade é o que você de fato consegue controlar.

Salvaguarda 5: O agente tem a própria identidade, e não uma chave de admin compartilhada? Todo agente deve rodar sob uma identidade única, nunca uma credencial compartilhada e nunca o login de admin de um humano. Uma chave compartilhada significa que você não consegue dizer qual agente fez o quê, e um comprometimento se espalha por todos os lugares que aquela chave alcança. Uma identidade única também é o que torna significativo o log de auditoria da salvaguarda 9.

Salvaguarda 6: Essa identidade está delimitada ao menor privilégio? O agente recebe o conjunto mais estreito de permissões que o seu trabalho de fato precisa, e nada além disso. Um agente de suporte que emite reembolsos não deveria também conseguir exportar o seu banco de dados de clientes ou alterar a folha de pagamento. Se ele for enganado, o dano fica limitado pelo que lhe foi concedido, não por um filtro ter pego o golpe. Use o acesso menos poderoso que funcione: só de leitura é melhor que leitura e escrita, e leitura e escrita sem exclusão é melhor que acesso total.

Salvaguarda 7: O agente roda em um sandbox? O agente deve operar dentro de um ambiente isolado construído sobre isolamento estabelecido e testado em batalha (os mesmos contêineres e sandboxes usados para rodar código não confiável), e não algo feito à mão. Como observa a Anthropic, essas primitivas sobreviveram a muito mais atenção adversarial do que qualquer coisa que você construiria por conta própria. Combine a contenção com o usuário também: um desenvolvedor que pode ler e executar código e um atendente de suporte que não pode não são o mesmo modelo de ameaça, e quanto mais poderosas as ferramentas, mais apertada a caixa.

Salvaguarda 8: A saída de rede do agente é limitada e delimitada por capacidade? Este é o controle que deteve o ataque de phishing citado acima. Mas uma simples lista de "domínios permitidos" não basta sozinha. A Anthropic aprendeu da maneira difícil que atacantes exfiltraram arquivos por um domínio permitido ao roteá-los para a própria conta deles nesse domínio, então pense nas regras de saída como concessões de capacidade (o que o agente tem permissão para fazer) em vez de apenas uma lista de endereços que ele pode alcançar.

Salvaguarda 9: Cada ação é registrada no nível da ação para auditoria? Você não consegue governar o que não consegue ver. Cada ação que o agente realiza, especialmente as de alto risco, deve ser registrada com detalhe suficiente para reconstruir o que aconteceu, quem ou o quê a disparou e o que ela tocou. Os logs no nível da ação são como você pega um problema lento antes que ele vire manchete, e como você aperta as outras oito salvaguardas ao longo do tempo.

Como fica a checklist concluída?

Aqui estão as nove em um só lugar, cada uma formulada como um sim ou não que você pode verificar. Um não é uma lacuna a fechar antes do lançamento, não uma nota de rodapé.

Repare no formato. As quatro primeiras são decisões que você toma sobre risco; as cinco últimas são controles que você embute no ambiente. As quatro primeiras podem ser enganadas. As cinco últimas não podem ser convencidas a deixar de fazer o seu trabalho, e é por isso que elas são inegociáveis mesmo quando o modelo é excelente.

Como aplico esta auditoria ao agente de um fornecedor?

As mesmas nove perguntas funcionam igualmente bem no agente de outra pessoa, e são a forma mais rápida de distinguir um produto contido de uma demonstração confiante. Uma demonstração prova que o agente funciona num dia bom. A checklist prova o que acontece num dia ruim.

Peça ao fornecedor para responder a estas em linguagem clara:

• Quais das minhas ações exigem aprovação humana antes de rodar? Um fornecedor que não consegue nomeá-las não as classificou.
• O agente recebe a própria identidade com acesso de menor privilégio, ou usa uma chave compartilhada nos meus sistemas? A segunda resposta é um sinal de alerta.
• Ele está em sandbox, e o que ele consegue alcançar na rede? "Ele consegue alcançar a internet" não é uma resposta.
• Cada ação é registrada em log, e eu consigo ver esses logs? Se você não consegue auditá-lo, você não consegue governá-lo.
• Qual é o raio de impacto se o agente for enganado? A resposta honesta é uma lista do que ele pode tocar, não uma promessa de que ele nunca será enganado.

Se as respostas forem vagas, ou se apoiarem inteiramente em "o modelo se comporta bem", o agente não está contido, por melhor que a demonstração tenha parecido. Um bom fornecedor terá respostas prontas, porque essas são as mesmas perguntas que ele deveria ter feito a si mesmo.

Por que isso importa agora?

Porque a diferença entre as equipes que passam nesta auditoria e as que a pulam está prestes a aparecer nos números. A Gartner espera que mais de 40% dos projetos de IA agêntica sejam cancelados até o fim de 2027, com controles de risco inadequados apontados entre as causas, e prevê que, até 2028, 25% das aplicações corporativas de IA generativa sofrerão pelo menos cinco incidentes de segurança menores por ano, contra 9% em 2025. As salvaguardas estão deixando de ser uma configuração para se tornarem um plano de controle orçado, e a auditoria acima é como você fica do lado certo dessa mudança.

A parte animadora é que nada disso é exótico. Mapeie cada ação para uma classificação de risco e barre as irreversíveis. Dê ao agente a própria identidade com o menor acesso de que precisa, em um sandbox, com a rede cercada e cada ação registrada em log. Mantenha o portão humano raro o suficiente para que as pessoas ainda o leiam. Faça isso, e um atacante que escapar do seu filtro ainda vai esbarrar em um muro de capacidade que nunca lhe foi concedida.

Se você quer essas nove salvaguardas construídas, verificadas e operadas para você antes do seu primeiro agente entrar no ar, é exatamente esse o trabalho que fazemos dentro dos sistemas de outras empresas. Agende uma consultoria gratuita abaixo e nós aplicaremos esta checklist ao seu agente juntos.