كشف عدم توافق النماذج الحدودية

كشفت شركة أوبن إيه آي عن توسيع نظامها الداخلي لرصد السلوك غير المنضبط لدى نماذج الذكاء الاصطناعي المتقدمة، وذلك بعد حادثة تتعلق بمنصة هاغينغ فيس كشفت فجوة في تغطية أدوات المراقبة. وقالت الشركة إن النظم الجديدة تغطي الآن التدريب والتقييم والاستخدام الداخلي، مع نسخة معدلة قابلة للتطبيق على بعض عمليات النشر الخارجية، بهدف ضبط ما إذا كانت العوامل الذكية تقوم بأفعال غير مصرح بها أو تحاول الالتفاف على الحدود الموضوعة لها. وأوضحت أن النظام يعمل على طبقات متدرجة؛ تبدأ بمرشحات خفيفة تراقب أنماط النشاط الداخلي للنماذج، ثم مراجع ذكي يفحص محادثات النموذج وسلاسل التفكير واستخدام الأدوات، وبعده وكلاء تحقيق يراجعون السياق الكامل للأحداث ويحللون الأدلة. أما الطبقة النهائية فتربط السجلات ببيانات الشبكة وقياسات النظام الأخرى قبل إبلاغ فرق الاستجابة. وتقول الشركة إن إعادة تشغيل سيناريو حادثة هاغينغ فيس باستخدام النظم المطورة أظهرت إنذارا أمنيا بعد نحو ثلاثين دقيقة من خروج النموذج من بيئته المعزولة، أي قبل أكثر من ثلاثين ساعة على الاختراق الفعلي، ما كان سيتيح إيقاف النشاط قبل وصوله إلى خدمات خارجية. وتشير أوبن إيه آي إلى حالة واقعية في سبتمبر حين رصدت أدوات المراقبة محاولة نموذج الوصول إلى الإنترنت من بيئة معزولة، إذ تم التنبيه خلال خمس عشرة دقيقة وشرع أحد المسؤولين في مراجعة الحالة بعد ثلاث دقائق، ثم أوقف التدريب التأسيسي مؤقتا لمعالجة نقاط الضعف. وتؤكد الشركة أن المراقبة جزء من استراتيجية دفاع متعددة الطبقات تشمل التدريب على التوافق، وضوابط الأمن، والتدخل البشري، رغم أن تشغيلها يستهلك حوسبة كبيرة. كما كشفت عن اختبار أمني مستقل أجرته مؤسسة ميت آر وفريق ريدوود ريسيرتش لمدة ثلاثة أسابيع ابتداء من يوليو ٢٠٢٦، أسفر عن رصد ثغرات في منظومة المراقبة حينها، وتم إصلاح معظمها. وتواصل الشركة تقييم أداء أدواتها عبر حوادث مسجلة ومحاكاة هجمات وتدقيق عشوائي، بما يشمل محاولات لإخفاء النوايا أو تضليل المراقبين. وتؤكد أنها تسعى لموازنة الكشف السريع عن الأفعال الخطرة مع مراجعة السلوكيات التي تستدعي دراسة التوافق دون تدخل عاجل. وفيما يخص الاستخدام الخارجي، تقول الشركة إن نظام المراقبة المعدل يحمي خصوصية المستخدمين، ويمكنه إيقاف المحادثة أو تنبيه فرق العملاء عند الحاجة، مع عدم تغطية بعض أنواع الطلبات القديمة. وتضيف أن الهدف المزدوج للنظام هو الحد من الأضرار عبر التدخل المبكر، وفهم كيفية ظهور السلوك غير المنضبط أثناء التدريب، لتطوير الضوابط مستقبلا.