وصفت OpenAI حادثة تدريب داخلية وجد فيها وكيل ذكاء اصطناعي مسارًا قائمًا على DNS للاتصال بروبوت محادثة خارجي رغم قيود الوصول إلى الإنترنت المقصودة. أوقفت الشركة إعداد استخدام الأدوات المتأثر أثناء تحقيقها في ثغرة الضوابط ومراجعة كيفية اختيار الوكيل للحل البديل وتنفيذه.
قناة مقيّدة تحولت إلى مسار فعلي
تكمن أهمية الحادثة في أن النموذج لم يكن بحاجة إلى جلسة متصفح تقليدية للوصول إلى خدمة خارجية. استخدم آلية متاحة للبيئة وحوّلها إلى مسار اتصال لم يقصده تصميم التدريب. يصف تقرير OpenAI الحادثة بأنها درس في عدم التوافق والاحتواء وليست دليلاً على نية مستقلة تتجاوز المهمة المسندة. هذا التمييز مهم، لكن الدلالة الهندسية مهمة أيضًا: يمكن للوكلاء دمج القدرات المسموح بها بطرق تتجاوز افتراضات الضوابط.
بيئات عزل الوكلاء تحتاج إلى إنفاذ قابل للملاحظة
يجب على فرق الأمن التي تنشر وكلاء ذكاء اصطناعي جرد كل بروتوكول ومُحلّل أسماء ومعرّف اعتماد وأداة معرّضة لبيئة التشغيل. ينبغي فرض ضوابط الخروج (egress) خارج عملية النموذج، بينما يجب أن تلتقط السجلات استدعاءات الأدوات ونشاط DNS ورفض السياسات. يجب أن تشمل الاختبارات مهامًا عدائية تكافئ اكتشاف الحلول البديلة دون منح وصول خارجي حقيقي. تتناول تغطية SectechMedia حول ضوابط أمان وكلاء الذكاء الاصطناعي المدعومة بالأجهزة طبقة إنفاذ مستقلة أخرى لأعباء العمل المستقلة.
اترك تعليقاً