قائمة التحقق لأمان وكلاء الذكاء الاصطناعي: 9 ضوابط حماية تتحقق منها قبل أن تسمح للوكيل بالتصرف بمفرده

قبل أن تسمح لوكيل ذكاء اصطناعي بالتصرف بمفرده، تحقق من تسعة ضوابط حماية. النقاط الأربع الأولى تربط كل إجراء يمكن للوكيل القيام به بدرجة خطر، كي تتوقف الإجراءات غير القابلة للتراجع والحساسة والمكلفة دائماً بانتظار قرار إنسان. والنقاط الخمس التالية تؤكد البيئة التي تحتوي الوكيل حين يُخدع أحد المرشّحات: هوية فريدة للوكيل، صلاحيات بأقل امتياز، بيئة معزولة، خروج شبكي محدود، وسجلات تدقيق على مستوى الإجراء. خريطة الإجراءات تخبرك بما هو آمن للأتمتة. أما البيئة فهي ما يصمد فعلاً عند الخط، لأن مرشّحات المحتوى التي تعتمد عليها معظم القوائم هي الطبقة التي تفشل تماماً حين يكون الأمر مهماً. اطرح النقاط التسع جميعها كأسئلة بنعم أو لا، وإن كانت أي إجابة لا أو "لسنا متأكدين"، فالوكيل غير جاهز للعمل دون إشراف.

هذا هو تدقيق ما قبل الإطلاق الذي ننفّذه قبل أن نسمح لوكيل بنيناه بالتصرف بمفرده داخل شركة أخرى، مكتوب بحيث يستطيع مالك غير تقني تنفيذه أيضاً، على وكيله أو على وكيل أحد المورّدين. إن كنت تفضّل أن نقوم بذلك نيابةً عنك، فاطّلع على كيفية إدارتنا لـحوكمة الذكاء الاصطناعي المسؤول وإدارة المخاطر. كل ما يلي ملكٌ لك لتستخدمه.

كيف ينبغي أن أستخدم قائمة التحقق هذه؟

تعامل معها كفحص ما قبل الإقلاع، لا كفلسفة. خذ الوكيل الذي توشك على نشره (أو الذي يبيعه لك أحد المورّدين) وأجب عن كل نقطة من النقاط التسع بنعم أو لا حاسمة. "تقريباً" تعني لا. الهدف هو إظهار الثغرات قبل أن يلمس الوكيل أي شيء حقيقي.

تنقسم النقاط التسع إلى مجموعتين تؤديان وظيفتين مختلفتين:

• النقاط من 1 إلى 4 (خريطة الإجراءات). تحدد ما يُسمح للوكيل بفعله دون أن يسأل، وما يجب أن يتوقف لأجل إنسان. هذا حكم على الخطر، وهو الجزء الذي تغطّيه معظم الأدلة.
• النقاط من 5 إلى 9 (البيئة). تحدّ مما يمكن للوكيل الوصول إليه وفعله أصلاً، بغضّ النظر عمّا أُمر بفعله. هذا هو الجزء الذي تتجاهله معظم القوائم، وهو الجزء الذي يحتوي الوكيل حين يُخدع أحد المرشّحات.

كلتا المجموعتين مهمة، لكنهما تفشلان بطرق مختلفة. خريطة الإجراءات تتعلق باتخاذ القرار الصحيح. أما البيئة فتتعلق بالنجاة من قرار خاطئ. أنت بحاجة إلى كليهما، لأنه ما من مرشّح يلتقط كل شيء: مصنّف الوضع التلقائي الإنتاجي من Anthropic، وهو من أفضل ما هو موجود، لا يزال يفوّت نحو 17% من إجراءات الوكلاء المفرطة في الحماس حتى حين يُضبط على ألا يحجب أمراً مشروعاً تقريباً أبداً. نسبة تفويت 17% مقبولة مع طبقة أخرى خلفها، ومتهورة حين تكون الشيء الوحيد بين الوكيل وأموالك.

النقاط من 1 إلى 4: هل ربطت كل إجراء بدرجة خطر؟

لا يمكنك أن تضع بوابة على ما لم تُدرجه. ابدأ بتدوين كل إجراء يمكن للوكيل القيام به، ثم قيّم كلاً منها. يقدّم دليل الوكلاء من OpenAI أوضح طريقة تقييم: قيّم كل إجراء بأنه منخفض أو متوسط أو عالٍ بناءً على أربعة عوامل.

ضابط الحماية 1: هل أدرجت كل إجراء وقيّمته منخفضاً أو متوسطاً أو عالياً؟ إن كان على القائمة إجراء لم يقيّمه أحد، فهو الإجراء الذي سيؤذيك. يصنّف التقييم كل شيء تقريباً ضمن ثلاث فئات:

ضابط الحماية 2: هل يتوقف كل إجراء عالي الخطر بانتظار موافقة بشرية صريحة قبل تنفيذه؟ هذه هي القاعدة الوحيدة التي تمنع أسوأ النتائج. تسمّي OpenAI هذه الإجراءات تحديداً بوصفها الإجراءات التي تستحق موافقة بشرية: إلغاء الطلبات، اعتماد عمليات استرداد كبيرة، وإجراء المدفوعات. أضف إليها عمليات الحذف، ومنح الوصول، وأي رسالة تغادر الشركة. يمكن لوكيل الاسترداد أن يقرأ كل طلب يشاء، لكن يجب ألا يحرّك أموالاً فوق حد صغير دون أن يضغط شخص على "موافقة".

ضابط الحماية 3: هل بوابة الموافقة نادرة بما يكفي ليبقى الناس يقرؤونها؟ الفخ هو جعل الوكيل يسأل عن كل شيء. إن فعلت ذلك، فقد بنيت نظاماً أسوأ، لا أكثر أماناً. قاست Anthropic أن المستخدمين يوافقون على نحو 93% من طلبات الإذن، فالبوابة التي تُفعّل أربعين مرة في اليوم مجرد مسرحية: الإنسان ضمن الحلقة اسماً لكنه توقف عن النظر. تحقق من ثلاثة أمور: أن الوكيل يطلب الموافقة فقط للإجراءات الخطرة حقاً، وأن الطلب يذكر النتيجة بلغة واضحة ("استرداد 1,000 دولار للحساب X")، وأن الصمت يُفسَّر افتراضياً كـ"لا"، لا كـ"نعم".

ضابط الحماية 4: هل يتوقف الوكيل ويطلب المساعدة حين يستمر بالفشل؟ الوكيل المرتبك الذي يكرر المحاولات في حلقة مفرغة خطرٌ بحد ذاته. ضع حد فشل، بحيث يتوقف الوكيل بعد عدد محدد من المحاولات الفاشلة ويصعّد الأمر بدلاً من الإفراط في المحاولة. تذكر OpenAI محفّزين اثنين تحديداً للتدخل البشري: تجاوز حدود الفشل، والإجراءات عالية الخطر. وقد غطّيت كليهما للتو.

النقاط من 5 إلى 9: هل تحققت من البيئة التي تحتويه؟

هنا الجزء الذي تتجاهله القوائم العامة، وهو الجزء الذي يقوم بالعمل الثقيل. النقاط من 1 إلى 4 تفترض أن الوكيل يقرر بشكل صحيح. أما النقاط من 5 إلى 9 فتفترض أنه أحياناً لن يفعل، وتحدّ من الضرر حين يحدث ذلك.

السبب في أهمية هذه المجموعة هو أكثر الحقائق التي لا تحظى بالتغطية في أمان الوكلاء: تفشل مرشّحات المحتوى تماماً حين تبدو التعليمة الضارة مشروعة. أجرت Anthropic اختباراً تعرّض فيه موظف للتصيّد، فوصلت التعليمة الخبيثة من المستخدم الموثوق الذي بُني الوكيل لخدمته. عبر 25 محاولة، أتمّ الوكيل سرقة بيانات الاعتماد 24 مرة، لأنه، على حد قولهم، حين يكتب المستخدم التعليمة لا يوجد شيء شاذ ليلتقطه مصنّف. الشيء الوحيد الذي أوقفه بشكل موثوق كان بيئياً: حجب الخروج الشبكي للوكيل بحيث لم يكن للبيانات المسروقة أي مكان تذهب إليه. المرشّحات تخمّن النية. أما البيئة فتُزيل القدرة. والقدرة هي ما يمكنك التحكم به فعلاً.

ضابط الحماية 5: هل للوكيل هويته الخاصة، لا مفتاح إدارة مشترك؟ ينبغي أن يعمل كل وكيل تحت هوية فريدة، لا بيانات اعتماد مشتركة ولا تسجيل دخول إداري لإنسان. المفتاح المشترك يعني أنك لا تستطيع معرفة أي وكيل فعل ماذا، والاختراق ينتشر إلى كل مكان يصله ذلك المفتاح. الهوية الفريدة هي أيضاً ما يجعل سجل التدقيق في ضابط الحماية 9 ذا معنى.

ضابط الحماية 6: هل تلك الهوية محصورة بأقل امتياز؟ يحصل الوكيل على أضيق مجموعة صلاحيات تحتاجها وظيفته فعلاً، ولا شيء أكثر. وكيل الدعم الذي يصدر عمليات استرداد لا ينبغي أن يكون قادراً أيضاً على تصدير قاعدة بيانات عملائك أو تغيير الرواتب. إن خُدع، يكون الضرر محدوداً بما مُنح له، لا بما إذا التقط مرشّح الخدعة. استخدم أقل وصول ممكن يؤدي الغرض: القراءة فقط أفضل من القراءة والكتابة، والقراءة والكتابة دون حذف أفضل من الوصول الكامل.

ضابط الحماية 7: هل يعمل الوكيل في بيئة معزولة؟ ينبغي أن يعمل الوكيل داخل بيئة معزولة مبنية على عزل راسخ ومُجرَّب في الميدان (الحاويات والبيئات المعزولة ذاتها المستخدمة لتشغيل شيفرات غير موثوقة)، لا على شيء مصنوع يدوياً. كما تشير Anthropic، فإن هذه البنى التحتية صمدت أمام اهتمام عدائي أكبر بكثير مما قد تبنيه بنفسك. وطابق الاحتواء مع المستخدم أيضاً: المطوّر الذي يستطيع قراءة الشيفرة وتشغيلها وممثل الدعم الذي لا يستطيع ليسا نموذج التهديد ذاته، وكلما كانت الأدوات أقوى، وجب أن يكون الصندوق أضيق.

ضابط الحماية 8: هل الخروج الشبكي للوكيل محدود ومحدد النطاق بحسب القدرة؟ هذا هو الضابط الذي أوقف هجوم التصيّد أعلاه. لكن قائمة "النطاقات المسموح بها" البسيطة لا تكفي وحدها. تعلّمت Anthropic بالطريقة الصعبة أن المهاجمين سرّبوا ملفات عبر نطاق مسموح به بتوجيهها إلى حسابهم الخاص عليه، لذا فكّر في قواعد الخروج كمنح للقدرات (ما يُسمح للوكيل بفعله) لا كمجرد قائمة عناوين يمكنه الوصول إليها.

ضابط الحماية 9: هل يُسجَّل كل إجراء على مستوى الإجراء للتدقيق؟ لا يمكنك حوكمة ما لا تراه. ينبغي تسجيل كل إجراء يقوم به الوكيل، وخاصة عالية الخطر منها، بتفصيل كافٍ لإعادة بناء ما حدث، ومن أو ما الذي حفّزه، وما الذي لمسه. سجلات مستوى الإجراء هي كيف تلتقط مشكلة بطيئة قبل أن تصبح عنواناً رئيسياً، وكيف تشدّ ضوابط الحماية الثمانية الأخرى مع الوقت.

كيف تبدو قائمة التحقق المكتملة؟

ها هي النقاط التسع في مكان واحد، صيغت كلٌ منها كسؤال بنعم أو لا يمكنك التحقق منه. "لا" هي ثغرة يجب سدّها قبل الإطلاق، لا هامشٌ تشير إليه.

لاحظ الشكل. النقاط الأربع الأولى قرارات تتخذها بشأن الخطر؛ والنقاط الخمس الأخيرة ضوابط تبنيها داخل البيئة. النقاط الأربع الأولى يمكن خداعها. أما النقاط الخمس الأخيرة فلا يمكن إقناعها بالتخلي عن أداء عملها، ولهذا فهي غير قابلة للتفاوض حتى حين يكون النموذج ممتازاً.

كيف أطبّق هذا التدقيق على وكيل أحد المورّدين؟

تعمل الأسئلة التسعة ذاتها بالقدر نفسه من الفاعلية على وكيل شخص آخر، وهي أسرع طريقة للتمييز بين منتج محتوى وعرض واثق. العرض يثبت أن الوكيل يعمل في يوم جيد. أما قائمة التحقق فتثبت ما يحدث في يوم سيئ.

اطلب من المورّد الإجابة عن هذه بلغة واضحة:

• أيٌّ من إجراءاتي تتطلب موافقة بشرية قبل تنفيذها؟ المورّد الذي لا يستطيع تسميتها لم يقيّمها.
• هل يحصل الوكيل على هويته الخاصة بوصول بأقل امتياز، أم يستخدم مفتاحاً مشتركاً إلى أنظمتي؟ الإجابة الثانية مؤشر خطر.
• هل هو معزول، وما الذي يمكنه الوصول إليه على الشبكة؟ "يمكنه الوصول إلى الإنترنت" ليست إجابة.
• هل يُسجَّل كل إجراء، وهل يمكنني رؤية تلك السجلات؟ إن لم تستطع تدقيقه، فلا يمكنك حوكمته.
• ما نطاق الضرر إن خُدع الوكيل؟ الإجابة الصادقة هي قائمة بما يمكنه لمسه، لا وعدٌ بأنه لن يُخدع أبداً.

إن كانت الإجابات غامضة، أو تستند بالكامل إلى "النموذج حسن السلوك"، فالوكيل غير محتوى، مهما بدا العرض جيداً. المورّد الجيد ستكون لديه إجابات جاهزة، لأن هذه هي الأسئلة ذاتها التي كان عليه أن يسألها لنفسه.

لماذا يهم هذا الآن؟

لأن الفجوة بين الفرق التي تجتاز هذا التدقيق والفرق التي تتجاوزه على وشك أن تظهر في الأرقام. تتوقع Gartner أن يُلغى أكثر من 40% من مشاريع الذكاء الاصطناعي الوكيلي بحلول نهاية 2027، مع ذكر ضوابط المخاطر غير الكافية بين الأسباب، وتتنبأ بأنه بحلول 2028 سيعاني 25% من تطبيقات الذكاء الاصطناعي التوليدي في المؤسسات من خمسة حوادث أمنية بسيطة على الأقل سنوياً، ارتفاعاً من 9% في 2025. ضوابط الحماية تنتقل من إعداد ضمن التهيئة إلى طبقة تحكم مُدرجة في الميزانية، والتدقيق أعلاه هو كيف تبقى على الجانب الصحيح من هذا التحول.

الجزء المشجّع هو أن لا شيء من هذا غريب. اربط كل إجراء بدرجة خطر وضع بوابة على غير القابل للتراجع. امنح الوكيل هويته الخاصة بأقل وصول يحتاجه، في بيئة معزولة، مع تسييج الشبكة وتسجيل كل إجراء. وأبقِ البوابة البشرية نادرة بما يكفي ليبقى الناس يقرؤونها. افعل ذلك، فالمهاجم الذي ينزلق عبر مرشّحك سيصطدم رغم ذلك بجدار من القدرة لم تُمنح له قط.

إن أردت بناء ضوابط الحماية التسعة هذه والتحقق منها وتشغيلها من أجلك قبل أن يبدأ وكيلك الأول العمل، فهذا تحديداً هو العمل الذي نقوم به داخل أنظمة الشركات الأخرى. احجز استشارة مجانية أدناه وسننفّذ هذه القائمة على وكيلك معاً.