كيف حول فريق الفحص الأحمر في OpenAI خدمة ChatGPT Agent إلى حصن آمن ضد الهجمات

كيف حولت فريق الاختبار الأحمر في OpenAI نظام ChatGPT Agent إلى حصن آمن في 17 يوليو 2025، أطلقت OpenAI ميزة قوية جديدة لـ ChatGPT تعرف باسم "ChatGPT Agent". هذه الميزة تتيح للمشتركين المدفوعين طلب من ChatGPT القيام بمهام متنوعة مثل تسجيل الدخول إلى حسابات البريد الإلكتروني الخاصة بهم وحسابات الويب الأخرى، كتابة واستقبال رسائل البريد الإلكتروني، تنزيل وتعديل وإنشاء ملفات، وغيرها من الأعمال بشكل مستقل، تماماً كما يفعل شخص حقيقي باستخدام حاسوبه ومعلومات تسجيل الدخول الخاصة به. هذه الميزة الجديدة تطرح تحديات أمنية كبيرة، حيث يتطلب الأمر من المستخدمين ثقة عالية بأن ChatGPT Agent لن يقوم بأي عمل مشين أو مضر، أو يتسرب إلى بياناتهم الحساسة. كما تزيد هذه الميزة من المخاطر الأمنية للمستخدم وأصحاب العمل أكثر من ChatGPT العادي، الذي لا يمكنه تسجيل الدخول إلى حسابات الويب أو تعديل الملفات مباشرة. مهمة فريق الاختبار الأحمر فريق الاختبار الأحمر في OpenAI، الذي يتكون من 16 باحثًا حاصلين على الدكتوراه في مجال الأمن، تم تكليفهم بمهمة اختبار هذه الميزة الجديدة على مدى 40 ساعة. خلال هذه الفترة، تمكّن الفريق من اكتشاف سبع نقاط استغلال عالمية يمكن أن ت compromis النظام، مما كشف عن نقاط ضعف حاسمة في كيفية التعامل مع التفاعلات الحقيقية للوكلاء الذكاء الصناعي. بعد اختبارات الأمان المكثفة، قدمت شبكة فريق الاختبار الأحمر (Red Teaming Network) 110 هجمات مختلفة، من حقن الدفعات (prompt injections) إلى محاولات استخراج المعلومات البيولوجية. تم تصنيف ستة عشر منها بأنها تجاوزت حدود المخاطر الداخلية، مما أدى إلى الكشف عن نقاط ضعف أساسية في كيفية التعامل مع التفاعلات الحقيقية. لكن الانفراج الحقيقي جاء من الوصول غير المسبوق لـ UK AISI إلى سلاسل السبب والنتيجة الداخلية ونصوص السياسات. الهجمات التي أجبرت OpenAI على اتخاذ إجراءات خلال أربع جولات اختبار، أجبر فريق الاختبار الأحمر OpenAI على تنفيذ سبع نقاط استغلال عالمية كان يمكن أن ت compromis أي محادثة: التعليمات المخفية في المتصفح البصري: نجاح بنسبة 33% على صفحات الويب، مما يؤدي إلى تسريب البيانات بشكل فعال. استغلال متصفح Google Drive: لم يتم الكشف عن معدل نجاحه، لكنه كان يستهدف الوثائق السحابية ويمكن أن يجبر النظام على تسريب الوثائق. هجمات السلسلة متعددة الخطوات: معدل نجاح متنوع، تستهدف عمليات عبر المواقع وتؤدي إلى تجاوز الجلسة الكاملة. استخراج المعلومات البيولوجية: 16 محاولة تجاوزت حدود المخاطر الداخلية، مما يكشف عن معرفة خطرة يمكن أن تستخدم في تطوير تهديدات بيولوجية. كيف مكّن اختبار فريق الاختبار الأحمر من تحويل نقاط الضعف إلى حصن أمني استجابت OpenAI لنتائج فريق الاختبار الأحمر بإعادة تعريف أجزاء كبيرة من هندسة ChatGPT Agent. من بين المبادرات المتخذة: بناء هندسة فحص ثنائية الطبقات: هذه الهندسة تراقب 100% من حركة المرور الإنتاجية في الوقت الفعلي، مما أدّى إلى تحسينات قابلة للقياس: التعليمات غير ذات الصلة (المتصفح البصري): تحسين بنسبة 13% (من 82% إلى 95%). تسريب البيانات في السياق: تحسين بنسبة 3% (من 75% إلى 78%). تسريب البيانات الفعّالة: تحسين بنسبة 9% (من 58% إلى 67%). موثوقية النظام: تغطية كاملة بدلاً من التغطية القائمة على العينات. الوضع المراقب: عند استخدام ChatGPT Agent في سياقات حساسة مثل الحسابات المصرفية أو حسابات البريد الإلكتروني، يجمد النظام جميع النشاطات إذا غادر المستخدمون الصفحة. هذا القرار جاء كرد مباشر على محاولات تسريب البيانات التي تم اكتشافها خلال الاختبارات. تعطيل خاصية الذاكرة: رغم أنها وظيفة رئيسية، تم تعطيل الذاكرة عند الإطلاق لمنع الهجمات التدريجية لتسريب البيانات. قيود الشبكة: تم حصر الوصول إلى الشبكة على طلبات GET فقط، مما يمنع استغلال الثغرات في تنفيذ الأوامر. بروتوكول التصحيح السريع: نظام جديد يغلق الثغرات الأمنية خلال ساعات من اكتشافها، تم تطويره بعد أن أظهر فريق الاختبار الأحمر مدى سرعة انتشار الاستغلالات. اليقظة الأمنية البيولوجية كشف فريق الاختبار الأحمر عن إمكانية استغلال ChatGPT Agent لزيادة المخاطر البيولوجية. قام ستة عشر باحثًا من شبكة فريق الاختبار الأحمر، كل منهم حاصل على الدكتوراه في مجال السلامة البيولوجية، بمحاولة استخراج معلومات بيولوجية خطرة. كشفت محاولاتهم أن النموذج يمكنه تجميع الأدبيات المنشورة حول تعديل وخلق تهديدات بيولوجية. استجابةً لهذه النتائج،صنفت OpenAI ChatGPT Agent بأنه ذو "قدرة عالية" فيما يتعلق بالمخاطر البيولوجية والكيميائية، ليس لأنهم وجدوا دليلاً قاطعاً على إمكانية استخدامه كسلاح، ولكن كإجراء احترازي بناءً على نتائج فريق الاختبار الأحمر. هذا الإجراء أدى إلى: تحليل القدرات: تحليل القدرات ووضع خطط للحماية. حماية تشغيلية: أصبحت الحماية من المخاطر البيولوجية والكيميائية متطلبًا تشغيليًا للوكلاء الذكاء الصناعي. ماذا علم فريق الاختبار الأحمر OpenAI عن أمان الذكاء الصناعي كشفت 110 محاولة هجومية أنماطاً أجبرت OpenAI على التغيير الجوهري في فلسفة الأمان لديها: الاستمرارية وليس القوة: لا يحتاج المهاجمون إلى استغلالات معقدة، بل إلي المزيد من الوقت. أظهر فريق الاختبار الأحمر كيف يمكن أن تقود الهجمات الملتزمة والتدريجية إلى تجاوز الأنظمة. حدود الثقة هي خيال: عندما يمكن للوكلاء الذكاء الصناعي الوصول إلى Google Drive، تصفح الإنترنت، وتنفيذ التعليمات البرمجية، تذوب الحدود الأمنية التقليدية. استغل فريق الاختبار الأحمر الفجوات بين هذه القدرات. المراقبة ليست اختيارية: اكتشف فريق الاختبار الأحمر أن المراقبة القائمة على العينات كانت تغفل الهجمات الحاسمة، مما أدى إلى ضرورة تحقيق تغطية كاملة. الأمان السريع: دورات تصحيح الثغرات التقليدية التي تُقاس بالأسبوعين لا قيمة لها ضد هجمات حقن الدفعات التي يمكن أن تنتشر فوراً. البروتوكول الجديد يغلق الثغرات خلال ساعات. معايير أمان جديدة للذكاء الصناعي المؤسسي للمدراء الأمنيين الذين يقيمون نشر الذكاء الصناعي، تحدد نتائج فريق الاختبار الأحمر متطلبات واضحة: حماية قابلة للقياس: معدل الدفاع 95% ضد الهجمات الموثقة يحدد معيار الصناعة. رؤية كاملة: المراقبة الكاملة ليست مجرد هدف طموح، بل ضرورية بسبب سهولة إخفاء الهجمات. استجابة سريعة: غلق الثغرات خلال ساعات، وليس أسابيع. تحديد الحدود: يجب تعطيل بعض العمليات (مثل الوصول إلى الذاكرة أثناء المهام الحساسة) حتى تثبت سلامتها. كتبت كيرين غو، عضو فريق البحث الأمني في OpenAI، على X: "هذا وقت حاسم في أعمال الاستعداد لدينا. قبل الوصول إلى درجة القدرة العالية، كان الاستعداد يتعلق بتحليل القدرات والتخطيط لآليات الحماية. الآن، بالنسبة لـ Agent والنماذج الأكثر قدرة في المستقبل، أصبحت آليات الحماية مطلباً تشغيلياً". الخلاصة: فريق الاختبار الأحمر هو العمود الفقري لأمان النماذج الآمنة والمأمونة أصبحت السبع نقاط استغلال التي اكتشفها الباحثون والـ 110 هجومًا من شبكة فريق الاختبار الأحمر في OpenAI المصفاة التي صاغت ChatGPT Agent. عبر الكشف عن كيفية استخدام الذكاء الصناعي كسلاح، أجبر فريق الاختبار الأحمر على إنشاء أول نظام ذكاء صناعي تكون فيه الأمان ليست مجرد ميزة، بل الأساس. نجاح ChatGPT Agent في حجب 95% من الهجمات البصرية، واعتراض 78% من محاولات تسريب البيانات، ومراقبة كل تفاعل، يثبت فعالية اختبار فريق الاختبار الأحمر. في سباق الذكاء الصناعي المتسارع، ستنجو الشركات وتزدهر تلك التي تعتبر فريق الاختبار الأحمر مهندسين أساسيين للمنصة يعملون على دفعها إلى حدود الأمان والسلامة القصوى. تقييم الحدث من قبل المختصين يعد تجربة ChatGPT Agent ونجاحها في تحقيق مستويات أمان عالية نقطة تحول في مجال أمان الذكاء الصناعي. تؤكد نتائج الاختبارات أن استثمار الوقت والجهد في اختبارات فريق الاختبار الأحمر هو مفتاح بناء نماذج ذكاء صناعي آمنة ومأمونة. هذا النهج يوفر معيارًا جديدًا للشركات الأخرى للتعلم منه وتطبيقه في منتجاتها. نبذة تعريفية عن OpenAI OpenAI هي شركة رائدة في مجال الذكاء الصناعي تأسست عام 2015 بهدف تطوير الذكاء الصناعي بطرق آمنة ومفيدة للبشرية. أصبحت الشركة معروفة بتطوير أنظمة حوارية قوية مثل ChatGPT، والتي تهدف إلى تقديم تجارب تفاعلية موثوقة وآمنة للمستخدمين. جهود الشركة في مجال الأمان، خاصة مع ChatGPT Agent، تثبت التزامها بقيادة الصناعة نحو مستقبل أكثر أمانًا للذكاء الصناعي.