La checklist de sécurité des agents IA : 9 garde-fous à vérifier avant de laisser un agent agir seul

Avant de laisser un agent IA agir seul, vérifiez neuf garde-fous. Les quatre premiers relient chaque action que l'agent peut effectuer à une note de risque, pour que les actions irréversibles, sensibles et coûteuses s'arrêtent toujours en attente d'une personne. Les cinq suivants confirment l'environnement qui contient l'agent quand un filtre est dupé : une identité d'agent unique, des permissions au moindre privilège, un bac à sable, une sortie réseau limitée et des journaux d'audit au niveau de l'action. La carte des actions vous dit ce qu'il est sûr d'automatiser. L'environnement est ce qui tient réellement la ligne, parce que les filtres de contenu sur lesquels s'appuient la plupart des checklists sont la couche qui échoue précisément au moment où cela compte. Posez les neuf comme des questions à répondre par oui ou non, et si une seule réponse est non ou « nous ne sommes pas sûrs », l'agent n'est pas prêt à fonctionner sans supervision.

Voici l'audit de pré-lancement que nous passons avant de laisser un agent que nous avons construit agir seul au sein d'une autre entreprise, rédigé pour qu'un dirigeant non technique puisse le passer lui aussi, sur son propre agent ou sur celui d'un prestataire. Si vous préférez que nous le fassions pour vous, découvrez comment nous menons la gouvernance et la gestion des risques d'une IA responsable. Tout ce qui suit est à vous d'utiliser.

Comment dois-je utiliser cette checklist ?

Traitez-la comme une vérification avant le décollage, pas comme une philosophie. Prenez l'agent que vous êtes sur le point de déployer (ou celui qu'un prestataire vous vend) et répondez à chacun des neuf points par un oui ou un non ferme. Un « plutôt oui » est un non. L'objectif est de faire apparaître les failles avant que l'agent ne touche à quoi que ce soit de réel.

Les neuf se répartissent en deux groupes qui font des choses différentes :

• Points 1 à 4 (la carte des actions). Ils décident de ce que l'agent est autorisé à faire sans demander, et de ce qui doit s'arrêter pour un humain. C'est du jugement sur le risque, et c'est la partie que la plupart des guides couvrent.
• Points 5 à 9 (l'environnement). Ils plafonnent ce que l'agent peut atteindre et faire tout court, quelles que soient les instructions reçues. C'est la partie que la plupart des checklists oublient, et c'est la partie qui contient un agent quand un filtre est dupé.

Les deux groupes comptent, mais ils échouent différemment. La carte des actions consiste à décider correctement. L'environnement consiste à survivre à une mauvaise décision. Vous avez besoin des deux, parce qu'aucun filtre ne capte tout : le classificateur en mode automatique en production d'Anthropic, l'un des meilleurs qui soit, manque encore environ 17 % des actions trop zélées des agents, même réglé pour ne presque jamais bloquer une commande légitime. Un taux d'échec de 17 % est acceptable avec une autre couche derrière lui, et imprudent quand c'est la seule chose entre l'agent et votre argent.

Points 1 à 4 : avez-vous relié chaque action à une note de risque ?

Vous ne pouvez pas encadrer ce que vous n'avez pas listé. Commencez par noter chaque action que l'agent peut effectuer, puis évaluez chacune. Le guide des agents d'OpenAI propose la méthode d'évaluation la plus claire : notez chaque action faible, moyen ou élevé sur quatre facteurs.

Garde-fou 1 : avez-vous listé chaque action et l'avez-vous notée faible, moyen ou élevé ? S'il existe sur la liste une action que personne n'a notée, c'est celle qui vous fera mal. La note range presque tout dans trois catégories :

Garde-fou 2 : chaque action à risque élevé s'arrête-t-elle pour une approbation humaine explicite avant son exécution ? C'est la règle unique qui prévient les pires issues. OpenAI nomme précisément ces actions comme celles qui justifient une validation humaine : annuler des commandes, autoriser des remboursements importants et effectuer des paiements. Ajoutez-y les suppressions, les octrois d'accès et tout message qui sort de l'entreprise. Un agent de remboursement peut lire toutes les commandes qu'il veut, mais il ne doit jamais déplacer d'argent au-dessus d'un petit seuil sans qu'une personne ne clique sur approuver.

Garde-fou 3 : le point de contrôle d'approbation est-il assez rare pour que les gens le lisent encore ? Le piège est de faire demander l'agent pour tout. Faites cela, et vous avez bâti un système pire, pas plus sûr. Anthropic a mesuré que les utilisateurs approuvent environ 93 % des invites de permission, donc un point de contrôle qui se déclenche quarante fois par jour est du théâtre : l'humain est nominalement dans la boucle mais a cessé de regarder. Vérifiez trois choses : l'agent n'invite que pour des actions véritablement risquées, l'invite énonce la conséquence en langage clair (« Rembourser 1 000 $ sur le compte X »), et le silence revient par défaut à « non », jamais à « oui ».

Garde-fou 4 : l'agent s'arrête-t-il et demande-t-il de l'aide quand il échoue à répétition ? Un agent désorienté qui boucle sur des tentatives est un risque à part entière. Fixez un seuil d'échec, pour qu'après un nombre défini de tentatives ratées l'agent s'arrête et fasse remonter au lieu de s'agiter en vain. OpenAI liste exactement deux déclencheurs d'intervention humaine : le dépassement des seuils d'échec et les actions à risque élevé. Vous venez de couvrir les deux.

Points 5 à 9 : avez-vous vérifié l'environnement qui le contient ?

Voici la partie que les checklists génériques oublient, et c'est elle qui fait le gros du travail. Les points 1 à 4 supposent que l'agent décide correctement. Les points 5 à 9 supposent qu'il ne le fera parfois pas, et plafonnent les dégâts quand cela arrive.

Si ce groupe compte autant, c'est à cause du fait le plus négligé en matière de sécurité des agents : les filtres de contenu échouent précisément quand l'instruction nuisible a l'air légitime. Anthropic a mené un test où un employé était victime d'hameçonnage, si bien que l'instruction malveillante provenait de l'utilisateur de confiance que l'agent était censé servir. Sur 25 tentatives, l'agent a réalisé le vol d'identifiants 24 fois, parce que, selon leurs mots, quand l'utilisateur tape l'instruction, il n'y a rien d'anormal pour qu'un classificateur le repère. La seule chose qui l'a arrêté de manière fiable était environnementale : bloquer la sortie réseau de l'agent pour que les données volées n'aient nulle part où aller. Les filtres devinent l'intention. L'environnement retire la capacité. La capacité est ce que vous pouvez réellement contrôler.

Garde-fou 5 : l'agent a-t-il sa propre identité, et non une clé d'administration partagée ? Chaque agent devrait fonctionner sous une identité unique, jamais une clé d'identification partagée et jamais le compte administrateur d'un humain. Une clé partagée signifie que vous ne pouvez pas dire quel agent a fait quoi, et une compromission se propage partout où cette clé donne accès. Une identité unique est aussi ce qui rend significatif le journal d'audit du garde-fou 9.

Garde-fou 6 : cette identité est-elle cadrée au moindre privilège ? L'agent reçoit l'ensemble de permissions le plus étroit dont son travail a réellement besoin, et rien de plus. Un agent de support qui émet des remboursements ne devrait pas pouvoir aussi exporter votre base de données client ou modifier la paie. S'il est dupé, les dégâts sont bornés par ce qui lui a été accordé, et non par le fait qu'un filtre ait attrapé la ruse. Utilisez l'accès le moins puissant qui fonctionne : la lecture seule l'emporte sur la lecture-écriture, et la lecture-écriture-sans-suppression l'emporte sur l'accès complet.

Garde-fou 7 : l'agent fonctionne-t-il dans un bac à sable ? L'agent devrait opérer dans un environnement isolé bâti sur une isolation établie et éprouvée (les mêmes conteneurs et bacs à sable utilisés pour exécuter du code non fiable), et non sur quelque chose de bricolé. Comme le note Anthropic, ces primitives ont survécu à bien plus d'attention adverse que tout ce que vous construiriez vous-même. Adaptez aussi le confinement à l'utilisateur : un développeur capable de lire et d'exécuter du code et un agent de support qui ne le peut pas ne représentent pas le même modèle de menace, et plus les outils sont puissants, plus la boîte doit être serrée.

Garde-fou 8 : la sortie réseau de l'agent est-elle limitée et cadrée par capacité ? C'est le contrôle qui a stoppé l'attaque d'hameçonnage ci-dessus. Mais une simple liste de « domaines autorisés » ne suffit pas à elle seule. Anthropic l'a appris à ses dépens lorsque des attaquants ont exfiltré des fichiers via un domaine autorisé en les acheminant vers leur propre compte sur ce domaine. Considérez donc les règles de sortie comme des octrois de capacité (ce que l'agent est autorisé à faire) plutôt que comme une simple liste d'adresses qu'il peut atteindre.

Garde-fou 9 : chaque action est-elle journalisée au niveau de l'action pour l'audit ? Vous ne pouvez pas gouverner ce que vous ne pouvez pas voir. Chaque action que l'agent effectue, surtout celles à risque élevé, devrait être enregistrée avec assez de détails pour reconstituer ce qui s'est passé, qui ou quoi l'a déclenchée, et ce qu'elle a touché. Les journaux au niveau de l'action sont la manière dont vous attrapez un problème lent avant qu'il ne fasse la une, et dont vous resserrez les huit autres garde-fous au fil du temps.

À quoi ressemble la checklist terminée ?

Voici les neuf rassemblés en un seul endroit, chacun formulé comme un oui ou un non que vous pouvez vérifier. Un non est une faille à combler avant le lancement, pas une note de bas de page.

Remarquez la forme. Les quatre premiers sont des décisions que vous prenez sur le risque ; les cinq derniers sont des contrôles que vous intégrez à l'environnement. Les quatre premiers peuvent être dupés. On ne peut pas dissuader les cinq derniers de faire leur travail, et c'est pourquoi ils sont non négociables même quand le modèle est excellent.

Comment passer cet audit sur l'agent d'un prestataire ?

Les neuf mêmes questions fonctionnent tout aussi bien sur l'agent de quelqu'un d'autre, et elles sont le moyen le plus rapide de distinguer un produit contenu d'une démo assurée. Une démo prouve que l'agent fonctionne un bon jour. La checklist prouve ce qui se passe un mauvais jour.

Demandez au prestataire de répondre à ceci en langage clair :

• Lesquelles de mes actions exigent une approbation humaine avant leur exécution ? Un prestataire incapable de les nommer ne les a pas notées.
• L'agent reçoit-il sa propre identité avec un accès au moindre privilège, ou utilise-t-il une clé partagée vers mes systèmes ? La seconde réponse est un signal d'alerte.
• Est-il dans un bac à sable, et que peut-il atteindre sur le réseau ? « Il peut atteindre internet » n'est pas une réponse.
• Chaque action est-elle journalisée, et puis-je consulter ces journaux ? Si vous ne pouvez pas l'auditer, vous ne pouvez pas le gouverner.
• Quel est le rayon d'impact si l'agent est dupé ? La réponse honnête est une liste de ce qu'il peut toucher, pas une promesse qu'il ne le sera jamais.

Si les réponses sont vagues, ou reposent entièrement sur « le modèle se comporte bien », l'agent n'est pas contenu, aussi bonne qu'ait paru la démo. Un bon prestataire aura des réponses prêtes, parce que ce sont les mêmes questions qu'il aurait dû se poser à lui-même.

Pourquoi est-ce important maintenant ?

Parce que l'écart entre les équipes qui réussissent cet audit et celles qui le sautent est sur le point d'apparaître dans les chiffres. Gartner s'attend à ce que plus de 40 % des projets d'IA agentique soient abandonnés d'ici fin 2027, des contrôles de risque inadéquats étant cités parmi les causes, et prédit que d'ici 2028, 25 % des applications d'IA générative en entreprise subiront au moins cinq incidents de sécurité mineurs par an, contre 9 % en 2025. Les garde-fous passent d'un réglage de configuration à un plan de contrôle budgété, et l'audit ci-dessus est la manière de rester du bon côté de ce basculement.

L'aspect encourageant, c'est que rien de tout cela n'est exotique. Reliez chaque action à une note de risque et encadrez les irréversibles. Donnez à l'agent sa propre identité avec le moindre accès dont il a besoin, dans un bac à sable, avec le réseau clôturé et chaque action journalisée. Gardez le point de contrôle humain assez rare pour que les gens le lisent encore. Faites cela, et un attaquant qui passe votre filtre se heurte tout de même à un mur de capacités qui ne lui ont jamais été accordées.

Si vous voulez que ces neuf garde-fous soient construits, vérifiés et exploités pour vous avant que votre premier agent ne soit mis en service, c'est exactement le travail que nous menons au sein des systèmes d'autres entreprises. Réservez une consultation gratuite ci-dessous et nous passerons cette checklist sur votre agent ensemble.