اختراق Hugging Face يفتح نقاشًا واسعًا حول خطورة وكلاء الذكاء الاصطناعى

[ابوالوليد المسلم]

اختراق Hugging Face يفتح نقاشًا واسعًا حول خطورة وكلاء الذكاء الاصطناعى



كتب مايكل فارس

اختراق Hugging Face يفتح نقاشًا واسعًا


أثار اختراق مرتبط باختبار أجرته OpenAI على أنظمة Hugging Face نقاشًا جديدًا حول قدرة وكلاء الذكاء الاصطناعي على تجاوز الحدود الموضوعة لهم، ووكيل الذكاء الاصطناعي هو برنامج يستطيع تنفيذ مهام متعددة بشكل شبه مستقل، مثل كتابة الأكواد واستخدام الأدوات وفتح الملفات والتواصل مع خدمات أخرى، وتزداد خطورة هذه الأنظمة عندما تحصل على صلاحيات واسعة أو عندما لا تكون بيئة الاختبار معزولة بصورة جيدة، لأن الخطأ قد ينتقل من مرحلة التجربة إلى أنظمة حقيقية تحتوي على معلومات مهمة.
دعوة إلى نشر تفاصيل ما حدث

وفقًا لما نشره موقع TechCrunch، دعا كليمان ديلانغ الرئيس التنفيذي لشركة Hugging Face إلى زيادة الشفافية، وطالب OpenAI بإتاحة سجلات عمل الوكلاء للباحثين، حتى يتمكنوا من معرفة الخطوات التي نفذها النظام والقرارات التي اتخذها، كما دعا إلى تخصيص قدرة حاسوبية تعادل مائة مليون دولار أمريكي لتطوير وسائل حماية أقوى، وقالت OpenAI إنها تواصل مراجعة الحادث وتعتزم نشر تقرير تقني بعد انتهاء التحقيق.
الأمان يحتاج إلى قواعد واضحة

توضح الواقعة أن حماية أنظمة الذكاء الاصطناعي لا تعتمد فقط على تدريب النموذج على رفض الأوامر الخطيرة، بل تحتاج أيضًا إلى تقييد الصلاحيات وعزل بيئة الاختبار ومراقبة الاتصالات وتسجيل جميع العمليات، كما يساعد نشر المعلومات الأساسية عن الحوادث الشركات الأخرى على اكتشاف الأخطاء قبل تكرارها، لكن من الضروري عدم نشر تفاصيل تساعد المهاجمين على تنفيذ الاختراق نفسه، ويمثل الجمع بين الحماية التقنية والرقابة والشفافية الواضحة أسلوبًا مناسبًا لتقليل مخاطر وكلاء الذكاء الاصطناعي.