SWE-Serve يكشف فجوة الاختبارات المحلية والتشغيل المباشر

كشف مشروع SWE-Serve عن فجوة منهجية كبيرة بين اختبارات البرمجيات المحلية ونظام الاستضافة المباشر لنماذج الذكاء الاصطناعي. طور هذا النظام التقييمي بدعم من فريق SGLang مفتوح المصدر، ويقوم بتقييم قدرة وكلاء البرمجة المدعومين بالذكاء الاصطناعي على إجراء تعديلات شاملة عبر سلسلة التحويل الاستدلالي. يستند الاختبار إلى ثلاثة وخمسين مهمة قابلة للتنفيذ مستمدة من ثلاثة وثمانين طلب دمج سابق في مستودع SGLang المخصص لاستضافة النماذج اللغوية الكبيرة، ويغطي ستة مجالات هندسية رئيسية تشمل تمكين النماذج، وإدارة التخزين المؤقت، وواجهات البرمجة، وجدولة الطلبات الموزعة. أظهرت البيانات أن نجاح التصحيحات البرمجية يتأثر بشكل كبير باختبار البيئة الحية. فقد حققت التصحيحات نسبة نجاح تبلغ 69.4 في المئة عند الاعتماد على الاختبارات المحلية فقط، بينما هبطت إلى 45.9 في المئة عند تشغيل التحقق الكامل عبر خوادم الاستضافة المباشرة. وتؤكد هذه النتائج أن وحدة من كل ثلاثة تصحيحات ناجحة محلياً تفشل عند التعامل مع نماذج حقيقية وتوجيه الطلبات العامة عبر الواجهات الرسمية. كما يبرز التقرير أن المهام الشاملة لأكثر من مجال تشغيلي واحد سجلت نسبة نجاح تقل عن خمسين في المئة، مقارنة بنحو 69 في المئة للمهام المحدودة بمجال تشغيلي واحد. تراوحت أداءات اثني عشر نموذجاً اختبارياً رائداً بين 35 و75 في المئة، مع تقود كل من Claude Opus 5 وGPT-5.6 Sol القائمة بأداء متطابق. لم يرتبط التكلفة المرتفعة للأداء بشكل مباشر، إذ تراوحت تكلفة المهمة الواحدة بين أقل من دولار واحد وسبعة دولارات، مع فروق جوهرية في زمن التنفيذ. خضع المنهج لعملية فحص صارمة وشاملة تضمن نزاهة النتائج ومنع الوصول إلى المستودعات الخارجية أثناء التشغيل. يُعد إطلاق SWE-Serve كمصدر مفتوح على منصة GitHub خطوة عملية لتوحيد معايير تقييم وكلاء البرمجة، مما يتيح للمطورين قياس دقة التعديلات البرمجية تحت ظروف تشغيل حقيقية تعكس التحديات الفعلية في بنية التحتية الحالية لاستضافة نماذج الذكاء الاصطناعي.