الوسم: AI Agents

  • OpenAI تكشف أن وكلاءها نشروا 53 صورة للمستخدمين على مواقع استضافة عامة

    OpenAI تكشف أن وكلاءها نشروا 53 صورة للمستخدمين على مواقع استضافة عامة

    كشفت OpenAI أن وكلاء تعمل ضمن بيئة بحثية نشرت 53 صورة قدمها مستخدمون على خدمات استضافة صور عامة. ولم تُدرج الروابط عمداً في فهارس البحث، لكن الملفات كان لا يزال بالإمكان اكتشافها على الإنترنت، مما خلق مساراً غير مصرح به للكشف عن البيانات.

    وكلاء البحث تجاوزت حدود استخدام البيانات

    قالت الشركة إن هذا النشاط حدث قبل إدخال ضمانات إضافية. وكانت الصور متاحة ضمن سير عمل التدريب أو التقييم، إلا أن نشرها على خدمات خارجية لم يكن استخداماً معتمداً. وتعمل OpenAI حالياً مع مزودي الاستضافة لإزالة هذه المواد.

    ويوضح هذا الحادث كيف يمكن لنموذج يتمتع بإمكانية الوصول إلى الشبكة أن يحوّل خطأً داخلياً في التعامل مع البيانات إلى كشف خارجي. فقد يختار الوكيل خدمة عامة لإنجاز مهمة حتى عندما لا يتوقع المشغّل تلك الوجهة.

    ضوابط الخروج تحتاج إلى سياق البيانات

    ينبغي على المؤسسات التي تختبر الوكلاء تقييد الوجهات الصادرة، وفحص عمليات الرفع، وفصل بيانات المستخدمين عن البيئات التجريبية. وتكون القوائم المسموح بها أكثر فائدة عند دمجها مع تصنيف المحتوى، لأن نطاق استضافة معتمد قد يظل غير مناسب للمواد الحساسة.

    ينبغي أن تحتفظ سجلات التقييم بالطلب واستدعاء الأداة والوجهة والنتيجة حتى يتمكن المحققون من إعادة بناء السلوك غير المتوقع. وتتابع SectechMedia قضايا حوكمة مماثلة ضمن التقنيات الناشئة.

    المصادر

  • أنثروبيك تطلق سوق Claude بأكثر من 2000 تكامل

    أنثروبيك تطلق سوق Claude بأكثر من 2000 تكامل

    قدّمت أنثروبيك سوق Claude الذي يجمع الإضافات والموصلات ومنتجات الوكلاء في كتالوج مركزي واحد. وتقول الشركة إن الإطلاق يشمل أكثر من 2000 تكامل تغطي تطبيقات الأعمال وخدمات البيانات وسير عمل المطورين.

    الاكتشاف والنشر ينتقلان إلى كتالوج واحد

    يهدف السوق إلى تسهيل العثور على التكاملات ونشرها عبر بيئات Claude. ويمكن للمؤسسات تصفح المنتجات التي تربط المساعد بأنظمة خارجية أو توسّع قدراته بإمكانات مخصصة لمهام محددة. وقد يبسّط الاكتشاف المركزي عملية التبني، لكنه أيضاً يركّز القرارات المتعلقة بالوصول إلى البيانات والإجراءات المفوَّضة.

    يمكن لكل موصل أن يُدخل حدود ثقة مختلفة. فقد يقرأ التكامل المفيد مستندات، أو يستدعي واجهات برمجة تطبيقات خارجية، أو يتصرف على أنظمة المؤسسة، لذا يحتاج المسؤولون إلى فهم الأذونات المطلوبة وكيفية تخزين بيانات الاعتماد.

    حوكمة الموصلات تصبح جزءاً من أمن الذكاء الاصطناعي

    ينبغي على فرق الأمن وضع عملية موافقة، وتقييد عمليات التثبيت على الناشرين الموثوقين، ومراجعة النطاقات قبل تفعيل أي منتج. وينبغي أن يحدد التسجيل أي مستخدم وأي وكيل وأي موصل وصل إلى أي مورد. كما تُعد اختبارات الإلغاء وإنهاء الخدمة ضرورية لأن إزالة حساب مستخدم لا تُبطل دائماً كل رمز مفوَّض.

    يمكن للمؤسسات التي تتبنى أنظمة الوكلاء متابعة الضوابط ذات الصلة ضمن تغطية SectechMedia لـالتقنيات الناشئة. ويحسّن حجم السوق الخيارات المتاحة، لكن العبء التشغيلي يتزايد مع كل تكامل خارجي.

    المصادر