Die Sicherheits-Checkliste für KI-Agenten: 9 Schutzmechanismen, die Sie prüfen sollten, bevor ein Agent eigenständig handelt

Bevor Sie einen KI-Agenten eigenständig handeln lassen, prüfen Sie neun Schutzmechanismen. Die ersten vier ordnen jede Aktion, die der Agent ausführen kann, einer Risikobewertung zu, sodass die unumkehrbaren, sensiblen und kostspieligen Aktionen immer für einen Menschen innehalten. Die nächsten fünf bestätigen die Umgebung, die den Agenten eingrenzt, wenn ein Filter ausgetrickst wird: eine eindeutige Agenten-Identität, Berechtigungen nach dem Prinzip der minimalen Rechte, eine Sandbox, eingeschränkten Netzwerk-Egress und Audit-Protokolle auf Aktionsebene. Die Aktionskarte sagt Ihnen, was sicher zu automatisieren ist. Die Umgebung ist das, was die Linie tatsächlich hält, denn die Inhaltsfilter, auf die sich die meisten Checklisten stützen, sind genau die Schicht, die versagt, wenn es darauf ankommt. Beantworten Sie alle neun als Ja- oder Nein-Fragen, und wenn eine Antwort Nein oder „wir sind uns nicht sicher" lautet, ist der Agent nicht bereit, unbeaufsichtigt zu laufen.

Dies ist das Audit vor dem Launch, das wir durchführen, bevor wir einen von uns gebauten Agenten eigenständig in einem anderen Unternehmen handeln lassen, geschrieben so, dass auch ein nicht-technischer Inhaber es durchführen kann, an seinem eigenen Agenten oder am Agenten eines Anbieters. Wenn Sie es lieber von uns erledigen lassen möchten, sehen Sie, wie wir verantwortungsvolle KI-Governance und Risikosteuerung umsetzen. Alles Folgende dürfen Sie nutzen.

Wie sollte ich diese Checkliste verwenden?

Behandeln Sie sie wie einen Pre-Flight-Check, nicht wie eine Philosophie. Nehmen Sie den Agenten, den Sie gleich einsetzen wollen (oder den, den ein Anbieter Ihnen verkaufen will), und beantworten Sie jeden der neun Punkte mit einem harten Ja oder Nein. Ein „größtenteils" ist ein Nein. Das Ziel ist es, die Lücken aufzudecken, bevor der Agent irgendetwas Reales anfasst.

Die neun teilen sich in zwei Gruppen auf, die unterschiedliche Aufgaben erfüllen:

• Punkte 1 bis 4 (die Aktionskarte). Diese entscheiden, was der Agent ohne Rückfrage tun darf und was für einen Menschen anhalten muss. Hier geht es um die Einschätzung von Risiko, und das ist der Teil, den die meisten Leitfäden abdecken.
• Punkte 5 bis 9 (die Umgebung). Diese begrenzen, was der Agent überhaupt erreichen und tun kann, unabhängig davon, was ihm aufgetragen wurde. Das ist der Teil, den die meisten Checklisten überspringen, und es ist der Teil, der einen Agenten eingrenzt, wenn ein Filter ausgetrickst wird.

Beide Gruppen sind wichtig, aber sie versagen unterschiedlich. Bei der Aktionskarte geht es darum, richtig zu entscheiden. Bei der Umgebung geht es darum, eine falsche Entscheidung zu überstehen. Sie brauchen beide, denn kein Filter fängt alles ab: Anthropics produktiver Auto-Mode-Klassifikator, einer der besten, die es gibt, übersieht immer noch rund 17% der übereifrigen Agenten-Aktionen, selbst wenn er so eingestellt ist, dass er einen legitimen Befehl fast nie blockiert. Eine Fehlerquote von 17% ist in Ordnung, wenn dahinter noch eine weitere Schicht liegt, und fahrlässig, wenn es das Einzige ist, das zwischen dem Agenten und Ihrem Geld steht.

Punkte 1 bis 4: Haben Sie jede Aktion einer Risikobewertung zugeordnet?

Sie können nicht absichern, was Sie nicht aufgelistet haben. Beginnen Sie damit, jede Aktion aufzuschreiben, die der Agent ausführen kann, und bewerten Sie dann jede einzelne. Der Agenten-Leitfaden von OpenAI liefert die sauberste Bewertungsmethode: Bewerten Sie jede Aktion mit niedrig, mittel oder hoch anhand von vier Faktoren.

Schutzmechanismus 1: Haben Sie jede Aktion aufgelistet und mit niedrig, mittel oder hoch bewertet? Wenn es eine Aktion auf der Liste gibt, die niemand bewertet hat, ist das die, die Ihnen schadet. Die Bewertung sortiert fast alles in drei Kategorien:

Schutzmechanismus 2: Hält jede risikoreiche Aktion vor der Ausführung für eine ausdrückliche menschliche Genehmigung inne? Dies ist die eine Regel, die die schlimmsten Folgen verhindert. OpenAI nennt genau diese als die Aktionen, die eine menschliche Freigabe rechtfertigen: das Stornieren von Bestellungen, das Autorisieren großer Erstattungen und das Tätigen von Zahlungen. Fügen Sie Löschungen, Zugriffsgewährungen und jede Nachricht hinzu, die das Haus verlässt. Ein Erstattungsagent darf jede Bestellung lesen, die er möchte, aber er darf niemals Geld über einer kleinen Schwelle bewegen, ohne dass eine Person auf Genehmigen klickt.

Schutzmechanismus 3: Ist das Genehmigungstor selten genug, dass Menschen es noch lesen? Die Falle besteht darin, den Agenten bei allem nachfragen zu lassen. Tun Sie das, und Sie haben ein schlechteres System gebaut, kein sichereres. Anthropic hat gemessen, dass Nutzer rund 93% der Berechtigungsabfragen genehmigen, also ist ein Tor, das vierzigmal am Tag auslöst, reine Fassade: Der Mensch ist nominell im Prozess, aber hat aufgehört hinzuschauen. Prüfen Sie drei Dinge: Der Agent fragt nur bei wirklich riskanten Aktionen nach, die Abfrage nennt die Folge in klarer Sprache („1.000 $ auf Konto X erstatten") und Schweigen führt standardmäßig zu „nein", niemals zu „ja".

Schutzmechanismus 4: Hält der Agent inne und bittet um Hilfe, wenn er immer wieder scheitert? Ein verwirrter Agent, der in Wiederholungsversuchen festhängt, ist ein eigenes Risiko. Legen Sie eine Fehlerschwelle fest, sodass der Agent nach einer bestimmten Anzahl fehlgeschlagener Versuche stoppt und eskaliert, anstatt sich aufzureiben. OpenAI nennt genau zwei Auslöser für menschliches Eingreifen: das Überschreiten von Fehlerschwellen und risikoreiche Aktionen. Sie haben gerade beide abgedeckt.

Punkte 5 bis 9: Haben Sie die Umgebung geprüft, die ihn eingrenzt?

Hier ist der Teil, den die generischen Checklisten überspringen, und es ist der Teil, der die Schwerstarbeit leistet. Die Punkte 1 bis 4 setzen voraus, dass der Agent richtig entscheidet. Die Punkte 5 bis 9 setzen voraus, dass er es manchmal nicht tut, und begrenzen den Schaden, wenn das passiert.

Der Grund, warum diese Gruppe wichtig ist, ist die am meisten unterschätzte Tatsache in der Agenten-Sicherheit: Inhaltsfilter versagen genau dann, wenn die schädliche Anweisung legitim aussieht. Anthropic führte einen Test durch, bei dem ein Mitarbeiter gephisht wurde, sodass die bösartige Anweisung von dem vertrauenswürdigen Nutzer kam, dem der Agent dienen sollte. In 25 Wiederholungen führte der Agent 24 Mal Diebstahl von Zugangsdaten durch, weil, in ihren Worten, es nichts Auffälliges für einen Klassifikator gibt, wenn der Nutzer die Anweisung selbst eintippt. Das Einzige, was ihn zuverlässig stoppte, war umgebungsbezogen: das Blockieren des Netzwerk-Egress des Agenten, sodass die gestohlenen Daten nirgendwohin gelangen konnten. Filter raten die Absicht. Die Umgebung entfernt die Fähigkeit. Die Fähigkeit ist das, was Sie tatsächlich kontrollieren können.

Schutzmechanismus 5: Hat der Agent eine eigene Identität, keinen geteilten Admin-Schlüssel? Jeder Agent sollte unter einer eindeutigen Identität laufen, niemals unter geteilten Zugangsdaten und niemals unter dem Admin-Login eines Menschen. Ein geteilter Schlüssel bedeutet, dass Sie nicht feststellen können, welcher Agent was getan hat, und eine Kompromittierung verbreitet sich überall dorthin, wohin dieser Schlüssel reicht. Eine eindeutige Identität ist auch das, was das Audit-Protokoll in Schutzmechanismus 9 aussagekräftig macht.

Schutzmechanismus 6: Ist diese Identität auf das Prinzip der minimalen Rechte beschränkt? Der Agent erhält die engste Menge an Berechtigungen, die seine Aufgabe tatsächlich braucht, und nicht mehr. Ein Support-Agent, der Erstattungen ausstellt, sollte nicht auch Ihre Kundendatenbank exportieren oder die Gehaltsabrechnung ändern können. Wenn er ausgetrickst wird, ist der Schaden durch das begrenzt, was ihm gewährt wurde, nicht dadurch, ob ein Filter den Trick erkannt hat. Verwenden Sie den am wenigsten mächtigen Zugriff, der funktioniert: Nur lesen schlägt Lesen und Schreiben, und Lesen und Schreiben ohne Löschen schlägt Vollzugriff.

Schutzmechanismus 7: Läuft der Agent in einer Sandbox? Der Agent sollte in einer isolierten Umgebung arbeiten, die auf etablierter, kampferprobter Isolation aufbaut (dieselben Container und Sandboxes, die zum Ausführen von nicht vertrauenswürdigem Code verwendet werden), nicht auf etwas Selbstgebautem. Wie Anthropic anmerkt, haben diese Bausteine weit mehr feindseliger Aufmerksamkeit standgehalten als alles, was Sie selbst bauen würden. Passen Sie die Eingrenzung auch an den Nutzer an: Ein Entwickler, der Code lesen und ausführen kann, und ein Support-Mitarbeiter, der das nicht kann, sind nicht dasselbe Bedrohungsmodell, und je mächtiger die Werkzeuge, desto enger der Käfig.

Schutzmechanismus 8: Ist der Netzwerk-Egress des Agenten eingeschränkt und nach Fähigkeit abgegrenzt? Dies ist die Kontrolle, die den oben beschriebenen Phishing-Angriff stoppte. Aber eine einfache Liste „erlaubter Domains" reicht für sich allein nicht aus. Anthropic hat auf die harte Tour gelernt, dass Angreifer Dateien über eine erlaubte Domain exfiltrierten, indem sie sie an ihr eigenes Konto auf dieser Domain umleiteten, also denken Sie an Egress-Regeln als Fähigkeitsgewährungen (was der Agent tun darf) und nicht nur als Liste von Adressen, die er erreichen darf.

Schutzmechanismus 9: Wird jede Aktion auf Aktionsebene für ein Audit protokolliert? Sie können nicht steuern, was Sie nicht sehen können. Jede Aktion, die der Agent ausführt, besonders die risikoreichen, sollte mit genug Detail aufgezeichnet werden, um zu rekonstruieren, was passiert ist, wer oder was es ausgelöst hat und was es berührt hat. Protokolle auf Aktionsebene sind die Art und Weise, wie Sie ein schleichendes Problem erkennen, bevor es zur Schlagzeile wird, und wie Sie die anderen acht Schutzmechanismen mit der Zeit verschärfen.

Wie sieht die fertige Checkliste aus?

Hier sind die neun an einem Ort, jeweils formuliert als Ja oder Nein, das Sie verifizieren können. Ein Nein ist eine Lücke, die vor dem Launch zu schließen ist, keine Fußnote.

Beachten Sie die Form. Die ersten vier sind Entscheidungen, die Sie über Risiko treffen; die letzten fünf sind Kontrollen, die Sie in die Umgebung einbauen. Die ersten vier können ausgetrickst werden. Die letzten fünf können sich nicht aus ihrer Aufgabe herausreden lassen, weshalb sie nicht verhandelbar sind, selbst wenn das Modell exzellent ist.

Wie führe ich dieses Audit gegen den Agenten eines Anbieters durch?

Dieselben neun Fragen funktionieren genauso gut beim Agenten eines anderen, und sie sind der schnellste Weg, ein eingegrenztes Produkt von einer selbstbewussten Demo zu unterscheiden. Eine Demo beweist, dass der Agent an einem guten Tag funktioniert. Die Checkliste beweist, was an einem schlechten passiert.

Bitten Sie den Anbieter, diese in klarer Sprache zu beantworten:

• Welche meiner Aktionen erfordern eine menschliche Genehmigung, bevor sie ausgeführt werden? Ein Anbieter, der sie nicht benennen kann, hat sie nicht bewertet.
• Erhält der Agent eine eigene Identität mit Zugriff nach dem Prinzip der minimalen Rechte, oder verwendet er einen geteilten Schlüssel in meine Systeme? Die zweite Antwort ist ein Warnsignal.
• Ist er in einer Sandbox, und was kann er im Netzwerk erreichen? „Er kann das Internet erreichen" ist keine Antwort.
• Wird jede Aktion protokolliert, und kann ich diese Protokolle einsehen? Wenn Sie es nicht prüfen können, können Sie es nicht steuern.
• Wie groß ist der Schaden, wenn der Agent ausgetrickst wird? Die ehrliche Antwort ist eine Liste dessen, was er berühren kann, kein Versprechen, dass er es nie wird.

Wenn die Antworten vage sind oder vollständig auf „das Modell verhält sich gut" beruhen, ist der Agent nicht eingegrenzt, egal wie gut die Demo aussah. Ein guter Anbieter hat die Antworten bereit, denn das sind dieselben Fragen, die er sich selbst hätte stellen sollen.

Warum ist das jetzt wichtig?

Weil die Kluft zwischen Teams, die dieses Audit bestehen, und Teams, die es überspringen, gleich in den Zahlen sichtbar wird. Gartner erwartet, dass bis Ende 2027 mehr als 40% der agentischen KI-Projekte abgebrochen werden, wobei unzureichende Risikokontrollen als eine der Ursachen genannt werden, und prognostiziert, dass bis 2028 25% der generativen KI-Anwendungen in Unternehmen mindestens fünf kleinere Sicherheitsvorfälle pro Jahr erleiden werden, gegenüber 9% im Jahr 2025. Schutzmechanismen entwickeln sich von einer Konfigurationseinstellung zu einer budgetierten Kontrollebene, und das obige Audit ist die Art und Weise, wie Sie auf der richtigen Seite dieser Verschiebung bleiben.

Das Ermutigende daran ist, dass nichts davon exotisch ist. Ordnen Sie jede Aktion einer Risikobewertung zu und sichern Sie die unumkehrbaren ab. Geben Sie dem Agenten eine eigene Identität mit dem geringsten Zugriff, den er braucht, in einer Sandbox, mit abgegrenztem Netzwerk und jeder protokollierten Aktion. Halten Sie das menschliche Tor selten genug, dass Menschen es noch lesen. Tun Sie das, und ein Angreifer, der an Ihrem Filter vorbeischlüpft, läuft trotzdem in eine Wand aus Fähigkeiten, die ihm nie gewährt wurden.

Wenn Sie diese neun Schutzmechanismen für sich aufbauen, verifizieren und betreiben lassen möchten, bevor Ihr erster Agent live geht, ist das genau die Arbeit, die wir innerhalb der Systeme anderer Unternehmen leisten. Buchen Sie unten eine kostenlose Beratung, und wir führen diese Checkliste gemeinsam gegen Ihren Agenten durch.