HyperAIHyperAI

Command Palette

Search for a command to run...

أوبن إيه آي تطلق نموذجًا يهاجم الذكاء الاصطناعي لتعزيز أمانه

كشفت شركة أوبن إيه آي عن نموذج لغوي جديد يدعى جي بي تي ريد، مصمم خصيصاً لأداء مهام الفريق الأحمر الرقمي من خلال مهاجمة نماذج الشركة لاكتشاف الثغرات وتعزيز أمنها. ويأتي هذا التطور استجابة لتعقيد بيئات الذكاء الاصطناعي المتزايدة، حيث أصبحت الاختبارات اليدوية غير كافية لتغطية مساحة الهجوم الواسعة الناجمة عن قدرة الوكلاء الرقميين على التفاعل مع الملفات والويب والكود الخارجي. يعتمد جي بي تي ريد على آلية التدريب بالتعارض الذاتي، حيث يوضع نموذج أساسي في بيئة محاكاة تحاكي سيناريوهات العالم الحقيقي، ويخوض جولات متكررة ضد نماذج دفاعية. تهدف هذه الدورات المتواصلة إلى تطوير استراتيجيات هجوم متقدمة، مع تركيز خاص على هجمات الحقن السياقي. وقد نجح النموذج في التوصل إلى ثغرة غير مسبوقة تعرف بتسلسل التفكير المزيف، حيث يتمكن من حقن معلومات كاذبة في عمليات الاستدلال الداخلي للنموذج المستهدف، مما يخدعه ليعتقد أن البيانات ناتجة عن تحقيقاته الذاتية. وتظهر النتائج أن جي بي تي ريد يفوق الفرق البشرية في اكتشاف الثغرات، حيث خفض معدل نجاح الهجمات على نموذج جي بي تي 5.6 من أكثر من تسعين في المئة إلى أقل من اثنين وعشرين في المئة. ومع ذلك، يؤكد الباحثون أن النموذج لا يهدف إلى استبدال الخبراء البشريين، إذ لا يزال يواجه تحديات في الهجمات متعددة الأدوار المعقدة أو تلك المعتمدة على الصور. وتعتزم الشركة استخدام جي بي تي ريد كأداة مكملة تعمل على توسيع نطاق الاختبار بعد أن يقدم الباحثون التصاميم الأولية للهجوم. ولن يتم إطلاق النموذج للجمهور، نظراً للتعقيد التقني والموارد الحاسوبية الضخمة المطلوبة لتدريبه، مما يعكس انتقال قطاع أمن الذكاء الاصطناعي نحو أتمتة متقدمة في عمليات التقييم الوقائي.

الروابط ذات الصلة