مخاطر أمن أنظمة الذكاء الاصطناعي: ثغرات لا توجد في البرمجيات التقليدية

حقن التعليمات

الهجوم بسيط في فكرته: يزرع المهاجم في محتوى سيقرؤه نظامك — صفحة ويب، أو مستند، أو بريدا، أو حقلا في قاعدة بيانات — نصا موجها للنموذج يطلب منه تجاهل تعليماته أو تنفيذ فعل. وحين يقرأه النموذج قد ينفذه لأنه لا يميز بين البيانات والأوامر.

والخطر يتضاعف في الأنظمة الوكيلة التي تملك أدوات: فالتعليمة المزروعة قد تدفع النظام إلى إرسال بيانات أو تعديلها لا إلى مجرد قول شيء خاطئ.

الدفاع الصحيح: خارج النموذج

• افصل البيانات عن التعليمات بحدود صريحة، واعتبر كل ما بينها بيانات لا أوامر.
• افرض الصلاحية في الأداة — الأداة نفسها ترفض ما ليس مسموحا مهما طلب النموذج.
• أقل صلاحية لكل أداة، وقراءة فقط حيثما أمكن.
• موافقة بشرية لكل فعل خارج الحدود: إرسال، ودفع، وحذف، وتعديل إنتاج.
• تحقق من المخرج قبل تنفيذه، لا بعد.

تسريب البيانات عبر المخرج

ما يدخل السياق قد يخرج في الإجابة. فإن حقنت مستندا يحوي بيانات لا يحق للسائل رؤيتها، فقد يقتبس النموذج منها. والعلاج ليس تعليمة بالكتمان بل تصفية الاسترجاع بصلاحية المستخدم قبل بناء السياق.

ويلحق بهذا تسريب أقل وضوحا: الأوامر النظامية نفسها قد تستخرج بصياغات ملتوية، فلا تضع فيها أسرارا ولا مفاتيح ولا منطقا حساسا.

مخاطر سلسلة التوريد

النماذج والأدوات والمكتبات التي تركبها من مصادر خارجية قد تحمل سلوكا غير موثق. وأداة خارجية تعطى للوكيل هي كود يعمل بصلاحياتك. فتعامل معها كما تتعامل مع أي اعتمادية: مصدر معروف، وإصدار مثبت، ومراجعة قبل الاعتماد.

المراقبة والتسجيل

1. سجل كل نداء بمدخله ومخرجه واستدعاءات الأدوات فيه.
2. راقب الأنماط الشاذة: ارتفاع مفاجئ في استدعاء أداة، أو محاولات متكررة فاشلة.
3. حدد سقفا لعدد العمليات لكل مستخدم لكل فترة.
4. اختبر نظامك بمحاولات حقن حقيقية قبل الإطلاق وبعد كل تغيير.

أسئلة شائعة

هل يمكن منع حقن التعليمات نهائيا؟

لا يوجد حل كامل حتى الآن، لأن النموذج يعالج كل ما يصله كنص واحد. والاستراتيجية العملية هي تقليل الأثر: أقل صلاحية، وتحقق برمجي، وموافقة بشرية لما لا يمكن التراجع عنه.

هل النماذج المشغلة داخليا أكثر أمانا؟

أكثر أمانا من جهة خصوصية البيانات، ولا فرق من جهة حقن التعليمات: الثغرة في طريقة معالجة النص لا في مكان التشغيل. والتشغيل الداخلي يضيف عليك مسؤولية تحديث النموذج وتأمين البنية.

من أين نبدأ في التحصين؟

من جرد بسيط: ما الأدوات التي يملكها النظام، وما أقصى ضرر يمكن أن تحدثه كل أداة. ثم قلص الصلاحيات وأضف موافقة بشرية لأعلاها خطرا. وهذه الخطوة وحدها تزيل أغلب المخاطرة العملية.