Zanim pozwolisz agentowi AI działać samodzielnie, zweryfikuj dziewięć zabezpieczeń. Pierwsze cztery przypisują każde działanie, które agent może wykonać, do oceny ryzyka, tak aby te nieodwracalne, wrażliwe i kosztowne zawsze zatrzymywały się na decyzji człowieka. Kolejne pięć potwierdza środowisko, które ogranicza agenta, gdy filtr zostanie oszukany: unikalną tożsamość agenta, uprawnienia oparte na zasadzie najmniejszego przywileju, sandbox, ograniczony ruch wychodzący w sieci oraz dzienniki audytu na poziomie pojedynczych działań. Mapa działań mówi Ci, co bezpiecznie zautomatyzować. Środowisko jest tym, co faktycznie trzyma linię obrony, bo filtry treści, na których opiera się większość list kontrolnych, to warstwa, która zawodzi właśnie wtedy, gdy ma to znaczenie. Przejdź przez wszystkie dziewięć jako pytania typu "tak lub nie", a jeśli jakakolwiek odpowiedź brzmi "nie" albo "nie jesteśmy pewni", agent nie jest gotowy do pracy bez nadzoru.
To audyt przedwdrożeniowy, który przeprowadzamy, zanim pozwolimy zbudowanemu przez nas agentowi działać samodzielnie wewnątrz innej firmy, napisany tak, aby mógł go przeprowadzić również nietechniczny właściciel, na własnym agencie albo na agencie dostawcy. Jeśli wolisz, żebyśmy zrobili to za Ciebie, zobacz, jak prowadzimy odpowiedzialne zarządzanie AI i ryzykiem. Wszystko poniżej jest do Twojego użytku.
Jak powinienem korzystać z tej listy kontrolnej?
Traktuj ją jak listę kontrolną przed lotem, a nie jak filozofię. Weź agenta, którego masz zamiar wdrożyć (albo tego, którego sprzedaje Ci dostawca) i odpowiedz na każdy z dziewięciu punktów twardym "tak" lub "nie". "W większości" to "nie". Celem jest ujawnienie luk, zanim agent dotknie czegokolwiek realnego.
Te dziewięć dzieli się na dwie grupy, które wykonują różne zadania:
- Punkty 1 do 4 (mapa działań). Decydują o tym, co agentowi wolno robić bez pytania, a co musi zatrzymać się na decyzji człowieka. To ocena ryzyka i jest to część, którą obejmuje większość przewodników.
- Punkty 5 do 9 (środowisko). Ograniczają to, do czego agent w ogóle może sięgnąć i co może zrobić, niezależnie od tego, co mu polecono. To część, którą większość list kontrolnych pomija, i to ona powstrzymuje agenta, gdy filtr zostanie oszukany.
Obie grupy mają znaczenie, ale zawodzą inaczej. Mapa działań dotyczy podejmowania właściwych decyzji. Środowisko dotyczy przetrwania błędnej decyzji. Potrzebujesz obu, bo żaden filtr nie wyłapie wszystkiego: produkcyjny klasyfikator trybu automatycznego Anthropic, jeden z najlepszych istniejących, wciąż przepuszcza około 17% zbyt gorliwych działań agenta, nawet gdy jest dostrojony tak, aby niemal nigdy nie blokować uprawnionego polecenia. Wskaźnik 17% pominięć jest w porządku z kolejną warstwą za nim, a lekkomyślny, gdy jest jedyną rzeczą między agentem a Twoimi pieniędzmi.
Punkty 1 do 4: czy przypisałeś każde działanie do oceny ryzyka?
Nie da się zablokować tego, czego nie wypisałeś. Zacznij od spisania każdego działania, które agent może wykonać, a następnie oceń każde z nich. Przewodnik dla agentów od OpenAI podaje najczystszą metodę oceny: oceń każde działanie jako niskie, średnie lub wysokie według czterech czynników.
| Czynnik | Pytanie | Sygnał wysokiego ryzyka |
|---|---|---|
| Dostęp do zapisu | Czy tylko odczytuje, czy coś zmienia? | Zapisuje, wysyła lub usuwa |
| Odwracalność | Czy wynik da się cofnąć? | Nie da się tego cofnąć |
| Uprawnienia konta | Jakiego dostępu potrzebuje, aby to zrobić? | Zakres administratora, finansów lub danych klientów |
| Skutki finansowe | Ile to kosztuje, gdy coś pójdzie nie tak? | Realne pieniądze albo utrata zaufania |
Zabezpieczenie 1: Czy wypisałeś każde działanie i oceniłeś je jako niskie, średnie lub wysokie? Jeśli na liście jest działanie, którego nikt nie ocenił, to właśnie ono Cię zrani. Ocena sortuje niemal wszystko do trzech koszyków:
| Ryzyko | Przykłady | Reguła |
|---|---|---|
| Niskie (tylko odczyt, odwracalne) | Sprawdzenie zamówienia, podsumowanie zgłoszenia, naszkicowanie odpowiedzi | Pozwól mu działać. Zarejestruj to. Sprawdź po fakcie. |
| Średnie (zapisuje, ale da się odzyskać) | Aktualizacja rekordu, dodanie wewnętrznej notatki, utworzenie szkicu | Zezwól w ścisłych granicach. Powiadom człowieka. |
| Wysokie (nieodwracalne, wrażliwe, kosztowne) | Zwrot lub płatność, usunięcie rekordów, nadanie dostępu, wysłanie wiadomości na zewnątrz | Wymagaj zgody człowieka, zanim zostanie wykonane. Zawsze. |
Zabezpieczenie 2: Czy każde działanie wysokiego ryzyka zatrzymuje się na wyraźnej zgodzie człowieka, zanim zostanie wykonane? To jedyna reguła, która zapobiega najgorszym skutkom. OpenAI wymienia dokładnie te działania jako wymagające akceptacji człowieka: anulowanie zamówień, autoryzowanie dużych zwrotów i dokonywanie płatności. Dołóż do tego usunięcia, nadania dostępu i każdą wiadomość, która opuszcza firmę. Agent obsługujący zwroty może odczytywać każde zamówienie, jakie chce, ale nigdy nie może przenieść pieniędzy powyżej niewielkiego progu bez kliknięcia "zatwierdź" przez człowieka.
Zabezpieczenie 3: Czy bramka zgody uruchamia się na tyle rzadko, że ludzie wciąż ją czytają? Pułapką jest sprawienie, by agent pytał o wszystko. Zrób tak, a zbudujesz gorszy system, a nie bezpieczniejszy. Anthropic zmierzyło, że użytkownicy zatwierdzają około 93% próśb o uprawnienia, więc bramka, która uruchamia się czterdzieści razy dziennie, jest teatrem: człowiek formalnie jest w pętli, ale przestał patrzeć. Zweryfikuj trzy rzeczy: agent pyta tylko o naprawdę ryzykowne działania, prośba opisuje skutek prostym językiem ("Zwrot 1000 USD na konto X"), a milczenie domyślnie oznacza "nie", nigdy "tak".
Zabezpieczenie 4: Czy agent zatrzymuje się i prosi o pomoc, gdy wciąż mu się nie udaje? Zdezorientowany agent zapętlony na ponawianych próbach to osobny rodzaj ryzyka. Ustaw próg niepowodzeń, tak aby po określonej liczbie nieudanych prób agent zatrzymał się i eskalował zamiast się szamotać. OpenAI wymienia dokładnie dwa wyzwalacze interwencji człowieka: przekroczenie progów niepowodzeń oraz działania wysokiego ryzyka. Właśnie objąłeś oba.
Punkty 5 do 9: czy zweryfikowałeś środowisko, które go ogranicza?
Oto część, którą ogólne listy kontrolne pomijają, i to ona wykonuje najcięższą pracę. Punkty 1 do 4 zakładają, że agent decyduje poprawnie. Punkty 5 do 9 zakładają, że czasem tak nie będzie, i ograniczają szkody, gdy to się stanie.
Powód, dla którego ta grupa ma znaczenie, to najsłabiej omawiany fakt w bezpieczeństwie agentów: filtry treści zawodzą dokładnie wtedy, gdy szkodliwe polecenie wygląda na uprawnione. Anthropic przeprowadziło test, w którym pracownik padł ofiarą phishingu, więc złośliwe polecenie nadeszło od zaufanego użytkownika, do którego obsługi agent został stworzony. W 25 próbach agent dokonał kradzieży danych uwierzytelniających 24 razy, ponieważ, jak to ujęli, gdy użytkownik wpisuje polecenie, nie ma nic nietypowego, co klasyfikator mógłby wyłapać. Jedyną rzeczą, która niezawodnie go powstrzymała, była zmiana środowiskowa: zablokowanie ruchu wychodzącego agenta w sieci, tak aby skradzione dane nie miały dokąd trafić. Filtry zgadują intencje. Środowisko odbiera możliwości. To możliwości są tym, co faktycznie możesz kontrolować.
Zabezpieczenie 5: Czy agent ma własną tożsamość, a nie współdzielony klucz administratora? Każdy agent powinien działać pod unikalną tożsamością, nigdy pod współdzielonym poświadczeniem ani pod loginem administratora należącym do człowieka. Współdzielony klucz oznacza, że nie da się stwierdzić, który agent co zrobił, a kompromitacja rozprzestrzenia się wszędzie tam, gdzie sięga ten klucz. Unikalna tożsamość jest też tym, co nadaje sens dziennikowi audytu z zabezpieczenia 9.
Zabezpieczenie 6: Czy ta tożsamość jest zawężona do najmniejszego przywileju? Agent otrzymuje najwęższy zestaw uprawnień, jakiego faktycznie potrzebuje jego zadanie, i nic więcej. Agent wsparcia, który realizuje zwroty, nie powinien móc też eksportować Twojej bazy klientów ani zmieniać listy płac. Jeśli zostanie oszukany, szkoda jest ograniczona tym, co mu przyznano, a nie tym, czy filtr wyłapał podstęp. Korzystaj z najmniej potężnego dostępu, który działa: tylko odczyt bije odczyt i zapis, a odczyt i zapis bez usuwania bije pełny dostęp.
Zabezpieczenie 7: Czy agent działa w sandboxie? Agent powinien działać wewnątrz odizolowanego środowiska zbudowanego na uznanej, sprawdzonej w boju izolacji (te same kontenery i sandboxy używane do uruchamiania niezaufanego kodu), a nie na czymś sklejonym własnoręcznie. Jak zauważa Anthropic, te prymitywy przetrwały znacznie więcej uwagi ze strony przeciwników niż cokolwiek, co zbudowałbyś sam. Dopasuj ograniczenie również do użytkownika: deweloper, który może odczytywać i uruchamiać kod, oraz przedstawiciel wsparcia, który nie może, to nie ten sam model zagrożeń, a im potężniejsze narzędzia, tym ciaśniejsze pudełko.
Zabezpieczenie 8: Czy ruch wychodzący agenta w sieci jest ograniczony i zawężony według uprawnień? To mechanizm, który powstrzymał opisany wyżej atak phishingowy. Ale prosta lista "dozwolonych domen" sama w sobie nie wystarczy. Anthropic nauczyło się tego boleśnie, gdy atakujący wyprowadzili pliki przez dozwoloną domenę, kierując je na własne konto na niej, więc traktuj reguły ruchu wychodzącego jak nadania uprawnień (co agentowi wolno robić), a nie tylko jak listę adresów, do których może sięgnąć.
Zabezpieczenie 9: Czy każde działanie jest rejestrowane na poziomie pojedynczych działań na potrzeby audytu? Nie da się zarządzać tym, czego nie widać. Każde działanie, które agent wykonuje, zwłaszcza te wysokiego ryzyka, powinno być zapisane z wystarczającą szczegółowością, aby odtworzyć, co się wydarzyło, kto lub co je wyzwoliło i czego dotknęło. Dzienniki na poziomie pojedynczych działań to sposób, w jaki wyłapujesz powolny problem, zanim stanie się nagłówkiem, oraz w jaki z czasem zacieśniasz pozostałych osiem zabezpieczeń.
Jak wygląda gotowa lista kontrolna?
Oto te dziewięć w jednym miejscu, każde sformułowane jako "tak lub nie", które możesz zweryfikować. "Nie" to luka do zamknięcia przed uruchomieniem, a nie przypis.
| # | Zabezpieczenie | Możesz uruchomić, gdy |
|---|---|---|
| 1 | Inwentaryzacja działań i ocena ryzyka | Każde działanie jest wypisane i ocenione jako niskie, średnie lub wysokie |
| 2 | Bramka człowieka przy działaniach wysokiego ryzyka | Każde nieodwracalne lub kosztowne działanie zatrzymuje się na zgodzie |
| 3 | Rzadkie zgody w prostym języku | Bramka uruchamia się tylko przy realnym ryzyku i domyślnie oznacza "nie" |
| 4 | Eskalacja po progu niepowodzeń | Agent zatrzymuje się i prosi o pomoc po powtarzających się niepowodzeniach |
| 5 | Unikalna tożsamość agenta | Agent ma własną tożsamość, żadnych współdzielonych kluczy administratora |
| 6 | Uprawnienia najmniejszego przywileju | Może sięgnąć tylko po to, czego potrzebuje jego zadanie |
| 7 | Sandbox | Działa w uznanej, odizolowanej infrastrukturze |
| 8 | Ograniczony, zawężony do uprawnień ruch wychodzący | Dostęp do sieci jest ogrodzony, a nie otwartą listą dozwolonych domen |
| 9 | Dzienniki audytu na poziomie działań | Każde działanie jest zapisane i możliwe do przejrzenia |
Zauważ kształt. Pierwsze cztery to decyzje, które podejmujesz na temat ryzyka; ostatnie pięć to mechanizmy, które wbudowujesz w środowisko. Pierwsze cztery można oszukać. Ostatnich pięciu nie da się wygadać z wykonywania ich zadania, dlatego są nienegocjowalne, nawet gdy model jest doskonały.
Jak przeprowadzić ten audyt na agencie dostawcy?
Te same dziewięć pytań działa równie dobrze na cudzym agencie i są najszybszym sposobem, aby odróżnić ograniczony produkt od pewnego siebie demo. Demo dowodzi, że agent działa w dobry dzień. Lista kontrolna dowodzi, co dzieje się w zły dzień.
Poproś dostawcę, aby odpowiedział na to prostym językiem:
- Które z moich działań wymagają zgody człowieka, zanim zostaną wykonane? Dostawca, który nie potrafi ich wymienić, ich nie ocenił.
- Czy agent otrzymuje własną tożsamość z dostępem opartym na najmniejszym przywileju, czy używa współdzielonego klucza do moich systemów? Druga odpowiedź to czerwona flaga.
- Czy działa w sandboxie i do czego może sięgnąć w sieci? "Może sięgnąć do internetu" to nie odpowiedź.
- Czy każde działanie jest rejestrowane i czy mogę zobaczyć te dzienniki? Jeśli nie możesz tego zaudytować, nie możesz tym zarządzać.
- Jaki jest zasięg szkód, jeśli agent zostanie oszukany? Uczciwa odpowiedź to lista tego, czego może dotknąć, a nie obietnica, że nigdy nie zostanie oszukany.
Jeśli odpowiedzi są niejasne albo opierają się wyłącznie na tym, że "model jest grzeczny", agent nie jest ograniczony, bez względu na to, jak dobrze wyglądało demo. Dobry dostawca będzie miał odpowiedzi gotowe, bo to te same pytania, które sam powinien był sobie zadać.
Dlaczego ma to znaczenie teraz?
Bo luka między zespołami, które przechodzą ten audyt, a tymi, które go pomijają, niedługo pojawi się w liczbach. Gartner spodziewa się, że ponad 40% projektów agentowej AI zostanie anulowanych do końca 2027 roku, a wśród przyczyn wymienia niewystarczające mechanizmy kontroli ryzyka, i przewiduje, że do 2028 roku 25% firmowych aplikacji generatywnej AI doświadczy co najmniej pięciu drobnych incydentów bezpieczeństwa rocznie, w górę z 9% w 2025 roku. Zabezpieczenia przechodzą z ustawienia w konfiguracji do budżetowanej warstwy kontroli, a powyższy audyt jest tym, jak pozostać po właściwej stronie tej zmiany.
Zachęcające jest to, że nic z tego nie jest egzotyczne. Przypisz każde działanie do oceny ryzyka i zablokuj te nieodwracalne. Daj agentowi własną tożsamość z najmniejszym dostępem, jakiego potrzebuje, w sandboxie, z ogrodzoną siecią i każdym działaniem rejestrowanym. Utrzymaj bramkę człowieka na tyle rzadką, że ludzie wciąż ją czytają. Zrób tak, a atakujący, który prześlizgnie się obok Twojego filtra, i tak natrafi na ścianę możliwości, których nigdy mu nie przyznano.
Jeśli chcesz, aby te dziewięć zabezpieczeń zostało zbudowanych, zweryfikowanych i prowadzonych za Ciebie, zanim Twój pierwszy agent ruszy na żywo, to dokładnie ta praca, którą wykonujemy wewnątrz stacków innych firm. Umów bezpłatną konsultację poniżej, a wspólnie przeprowadzimy tę listę kontrolną na Twoim agencie.