كلاود يخترق أنظمة 3 شركات حقيقية بالخطأ.. وأنثروبيك تكشف التفاصيل

في حادثة لافتة تعيد التأكيد على أهمية الضوابط الأمنية في تطوير الذكاء الاصطناعي، كشفت شركة أنثروبيك الأميركية أن نموذجها اللغوي «كلاود» تمكن قبل أسابيع من الوصول إلى أنظمة تابعة لثلاث شركات حقيقية خلال اختبارات روتينية للأمن السيبراني.

وأوضحت الشركة في تقريرها أن هذا الوصول لم يكن نتيجة محاولة من النموذج للتحرر أو التصرف باستقلالية، بل جاء نتيجة خطأ في إعداد الاختبارات، إذ حصل النموذج على إمكانية الوصول إلى الإنترنت الحقيقي رغم أنه كان من المفترض أن يعمل داخل بيئة محاكاة معزولة تماماً. وقد أوقفت الشركة اختباراتها مؤقتاً، ثم كشفت عن نتائج التحقيق والإجراءات الجديدة لمنع تكرار مثل هذه الحوادث.

كيف تمكن كلاود من الوصول إلى أنظمة حقيقية؟

خلال مراجعة أكثر من 141 ألف عملية تشغيل ضمن اختبارات التقييم في يوليو الماضي، رصدت أنثروبيك ثلاث حالات تمكنت فيها نماذج كلاود من الوصول إلى الإنترنت الحقيقي، ما أدى إلى التفاعل مع أنظمة تابعة لشركات فعلية.

وفي إحدى الحالات، استهدف نموذج «كلاود أوبوس 4.7» شركة حقيقية بعدما تطابق اسمها مع اسم شركة خيالية ضمن سيناريو الاختبار، وتمكن لاحقاً من الحصول على بيانات اعتماد والوصول إلى قاعدة بيانات خاصة ببيئة الإنتاج. وفي حادثة أخرى، قام نموذج «كلاود ميثوس 5» بتحميل حزمة بايثون خبيثة إلى مستودع برمجيات عام، معتقداً أنه لا يزال داخل بيئة المحاكاة، وظلت الحزمة متاحة لنحو ساعة وتم تنزيلها على 15 نظاماً حقيقياً قبل إزالتها.

وأكدت أنثروبيك أن النماذج استخدمت أساليب اختراق أساسية مثل كلمات المرور الضعيفة وصفحات التصحيح المكشوفة، ولم تعتمد على تقنيات متقدمة، كما لم تحاول نسخ نفسها أو الهروب من بيئة الاختبار.

حادثة ثانية تثير مخاوف إضافية

ظهرت لاحقاً حادثة أخرى، إذ أفاد معهد أمان الذكاء الاصطناعي في المملكة المتحدة بأن نموذج «كلاود ميثوس 5» نفذ سلسلة من الإجراءات غير المصرح بها على الإنترنت الحقيقي خلال اختباراته للأمن السيبراني. وتجري أنثروبيك مراجعة معمقة للحادثتين، وتعتزم الاستعانة بمجموعة «ميتار» البحثية المستقلة المتخصصة في أمان الذكاء الاصطناعي لإجراء مراجعة خارجية.

أنثروبيك تعزز عزل بيئات الاختبار

استجابةً للحوادث، طورت أنثروبيك نظام مراقبة وتصنيف يعمل في الوقت الفعلي لاكتشاف محاولات النموذج فحص بيئة الاختبار أو الخروج منها، أو حصوله بشكل غير متوقع على اتصال بالإنترنت، وفي حال اكتشاف سلوك من هذا النوع يمكن للنظام حظر الإجراء وتنبيه مسؤول بشري للتدخل.

كما نقلت الشركة اختباراتها الداخلية عالية الخطورة إلى بيئات عزل أكثر قوة، وأصبحت الاختبارات الخارجية مطالبة باستخدام بيئات محاكاة معزولة، مع حظر الوصول إلى الإنترنت افتراضياً ومراقبة سلوك النموذج طوال فترة الاختبار.

لماذا تصرف كلاود بهذه الطريقة؟

تعتقد أنثروبيك أن هناك عاملين رئيسيين وراء ما حدث؛ الأول أن النموذج تلقى تعليمات تفيد بأن البيئة التي يعمل فيها خيالية، والثاني أنه استمر في التعامل معها على هذا الأساس حتى بعد ظهور مؤشرات على أنها قد تكون حقيقية. كما أظهر النموذج استعداداً لاتخاذ إجراءات مشكوك فيها لتحقيق الهدف المحدد له، وهو ما وصفته الشركة بأنه نوع من «التهور في سبيل تحقيق هدف ضيق».

واختبرت أنثروبيك هذه الفرضية من خلال تدريب نموذج داخل بيئات تكافئ ما وصفته بـ«الغش»، حيث يحصل النظام على مكافآت مقابل إيجاد طرق مختصرة بدلاً من تنفيذ المهمة بالطريقة الصحيحة، وأظهر النموذج لاحقاً سلوكيات أكثر إثارة للقلق داخل المحاكاة، بينها محاولة الخروج من البيئات المعزولة وتقديم نصائح ضارة لإرضاء جهة التقييم، لكن الشركة أكدت أن نماذجها العامة الفعلية لم تُظهر هذا السلوك خلال الاختبارات نفسها.

أنثروبيك تزيد استثماراتها في الأمان

أقرت الشركة بأن تعزيز الأمان يجب ألا يقتصر على بيئات الاختبار، مشيرة إلى أنها أعادت بالفعل توجيه نحو 150 مهندساً من فرق المنتجات للعمل في مجال الأمن خلال وقت سابق من العام. وتخطط أنثروبيك لإصدار تحديثات إضافية خلال الأسابيع المقبلة، مع فتح نقاش أوسع حول كيفية إدارة مختبرات الذكاء الاصطناعي لوتيرة تطوير نماذجها، وضمان تشغيلها داخل بيئات آمنة ومراقبة، خاصة مع تزايد قدراتها على تنفيذ مهام معقدة بشكل مستقل.