جودفاير تكشف وكلاء الذكاء الاصطناعي الخاطفين بتكلفة أقل

أطلقت شركة Goodfire الناشئة المتخصصة في قابلية تفسير النماذج الذكاء الاصطناعي، نظام مراقبة جديداً يعتمد على المراقبة الداخلية لعمل النماذج، بهدف كشف السلوكيات الضارة للوكلاء الذكيين بكفاءة أعلى وتكلفة أقل بكثير من الحلول التقليدية. يأتي هذا الإطلاق بالتزامن مع شراكة استراتيجية مع منصة استضافة النماذج Baseten ومنصة Hugging Face، في ظل تزايد المخاوف الأمنية من هروب الوكلاء الذكيين من بيئات الاختبار والوصول غير المصرح به إلى الإنترنت أو مصادر البيانات الخارجية. يعتمد النظام الجديد على ما يُعرف بالمراقبين الداخليين الذين يقرأون الإشارات العصبية والعمليات الحسابية داخل النموذج أثناء مرحلة التشغيل الأمامي، بدلاً من الاعتماد على نموذج ذكاء اصطناعي ثانوي لقراءة مخرجاته فقط. تعمل أجهزة الاستشعار أو ما يُطلق عليها المسبارات على فحص الحسابات التي يقوم بها النموذج بالفعل، وعند رصد أي نشاط مشبوه، يتم توجيه المهمة لنموذج أمني متخصص للفحص الدقيق. ويصف المؤسس المشارك والمدير التقني دان بالسام هذه الآلية بأمن المطارات، حيث تكمن الميزة الأساسية في القدرة على اكتشاف التهديدات قبل تنفيذها أو أثناء مرحلة التدريب والتقييم، وفقاً لما أكده المدير التنفيذي إريك هو. وتتميز التقنية بخفضها الحاد للتكاليف والوقت الإضافي. وبحسب اختبارات الشركة على نموذج Kimi K3، كلف تشغيل المراقبين حوالي 51 دولاراً لألفي وأربعمائة جلسة مقارنة بـ233 دولاراً لنموذج مراقب أرخص، أو عشرة آلاف دولار لأقوى النماذج، مع إضافة أقل من اثنين بالمائة على زمن استجابة النموذج. وقد نجح النظام في كشف 94 في المئة من الجلسات الضارة المتعلقة بالقرصنة الهجومية، مع تحويل 8.7 في المئة من الجلسات البريئة لمراجعة بشرية إضافية. يستهدف هذا الحل بشكل رئيسي مزودي خدمات الاستدلال ومطوري النماذج مفتوحة المصدر، الذين غالباً ما يفتقرون إلى الضوابط الأمنية المدمجة التي توفرها الشركات المغلقة. يتيح النظام للمستخدمين تخصيص المخاطر التي يريدون مراقبتها، مثل القرصنة الإلكترونية أو إساءة استخدام الأسلحة أو ما يُعرف بمكافأة الغش في التدريب، مع خيارات استجابة آلية تتراوح بين تسجيل الحدث أو إرساله للمراجعة أو رفض الطلب نهائياً. يأتي هذا التطور في إطار جهود تقنية أوسع نحو هندسة سلوك النماذج بدقة، حيث تسعى Goodfire على المدى الطويل إلى تتبع مظاهر السلوك إلى مراحل التدريب الأصلية لتحويل عملية التدريب إلى هندسة دقيقة. وتؤكد الشركة أن الحاجة لمثل هذه المراقبين في وقت الاستدلال تزداد إلحاحاً مع تزايد اعتماد الصناعة على العناقم الحاسوبية واسعة النطاق، مما يرفع مستوى المسؤولية الأمنية ويؤكد على ضرورة نشر ضوابط حماية فعالة وقابلة للتطوير في مرحلة التشغيل الفعلي.