o3-mini مقابل DeepSeek-R1: أيهما أكثر أمانًا؟

يُمثِّل ظهور نظام DeepSeek-R1 نقطة تحول في صناعة الذكاء الاصطناعي بشكل عام وفي نماذج اللغات الكبيرة (LLMs) بشكل خاص. فقد أظهرت قدراته أداءً متميزًا في العديد من المهام، بما في ذلك التفكير الإبداعي، وإنشاء الرموز البرمجية، والرياضيات، وإصلاح البرامج تلقائيًا، وبتكلفة تنفيذية أقل بوضوح. ومع ذلك، يجب على نماذج اللغات الكبيرة أن تلتزم بخاصية جودة مهمة، وهي مواءمتها مع السلامة والقيم الإنسانية. ومنافس واضح لنظام DeepSeek-R1 هو نظيره الأمريكي من شركة OpenAI، وهو النموذج o3-mini، الذي يتوقع أن يضع معايير عالية فيما يتعلق بالأداء والسلامة والتكلفة. في هذه الورقة البحثية، نقوم بتقييم منهجي لمستوى السلامة لكل من نظام DeepSeek-R1 (النسخة 70 مليار معامل) ونموذج o3-mini من OpenAI (النسخة التجريبية). لهذا الغرض، نستفيد من أداة الاختبار الآلي للسلامة التي تم إطلاقها مؤخرًا والتي تُسمى ASTRAL. باستخدام هذه الأداة، نولد وننفذ بشكل آلي ومنهجي إجمالي 1260 مدخل اختبار غير آمن على كلا النموذجين. بعد إجراء تقييم شبه آلي للنتائج التي قدمتها كلتا النماذجين اللغويتين الكبيرتين (LLMs)، أشارت النتائج إلى أن نظام DeepSeek-R1 غير آمن للغاية بالمقارنة مع نموذج o3-mini من OpenAI. بناءً على تقييمنا، أجاب نظام DeepSeek-R1 بشكل غير آمن على 11.98% من الدعوات المنفذة، بينما أجاب o3-mini فقط على 1.19%.