كشف تقرير داخلي في شركة أوبن أيه آي عن عيوب منهجية جوهرية في مؤشر التقييم البرمجي SWE-Bench Pro، مما استدعى سحب التوصية الرسمية السابقة بالاعتماد عليه. وتأتي هذه الخطوة استجابة لضرورة ضمان موثوقية مقاييس الأداء التي تُستخدم في قرارات النشر وإطار العمل التحضيري للسلامة. وقد كان المؤشر قد أُوصي به سابقًا كبديل عن SWE-Bench Verified بعد اكتشاف قصور وتصريف بيانات في سابقه. واعتمدت الشركة في تدقيقها الجديد على مسار مراجعة متكامل يجمع بين التصفية التلقائية الأولية، التي حللت الأوامر واختبارات التقييم ومحاولة النماذج، لتحديد 286 مهمة مشبوهة. خضعت هذه العينات لمراجعة دقيقة عبر وكلاء ذكاء اصطناعي مُجهزين بالوصول إلى مستودعات البرمجيات، بالإضافة إلى تقييم مستقل من قبل خمسة مهندسين برمجيين ذوي خبرة عالية. كشفت النتائج أن حوالي ثلاثين بالمائة من المهام العامة في المؤشر تحتوي على عيوب تجعلها غير صالحة للتقييم بدقة. وأشار التحليل إلى أن المراجعين البشريين اكتشفوا ثغرات أوسع في تغطية الاختبارات وتنسيقها مع وصف المشكلة، مقارنة بالدقة التي أظهرتها الآليات الآلية، مما يعكس تعقيد مهمة فصل الغموض المشروع عن عدم الوضوح التقني. وأكّد التقرير أن استقراء المهام من طلبات السحب والمشاريع مفتوحة المصدر غالبًا ما ينتج بيانات غير متجانسة، حيث صُممت الاختبارات أصلاً للتحقق من تغييرات محددة وليست كمعيار محايد لتقييم الحلول. ورغم تسهّل القدرات الحديثة للنماذج عملية كشف هذه الأخطاء، إلا أن الاعتماد على معايير غير مختبرة بدقة قد يشوّه صورة القدرات الفعلية ويؤثر على أولويات البحث. وبناءً على هذه المعطيات، أعلنت أوبن أيه آي رسميًا عن انسحابها من دعم SWE-Bench Pro، ودعت مجتمع التقييم إلى اعتماد مؤشرات يُصممها مطورون خبراء مع تعزيز الرقابة البشرية على طول دورة التطوير. وتعزز هذه الخطوة المبدأ الأساسي بفصل الإشارة الحقيقية عن الضوضاء البرمجية، لضمان أن تعكس الاختبارات القيود الحقيقية للنماذج، وبالتالي توفير بيانات سليمة للقرارات التقنية والاستراتيجية ذات الحساسية العالية.