مجموعة بيانات معيارية لتقييم توليد الكود المُتحقق منه باستخدام SWE-bench

* هذه المجموعة من البيانات تدعم الاستخدام عبر الإنترنت.انقر هنا للقفز.

مقدمة مجموعة البيانات

المعيار هو نسخة محسنة (مجموعة فرعية) من مجموعة اختبارات البرمجيات البرمجية الحالية، والتي تم تصميمها لتقييم قدرة نماذج الذكاء الاصطناعي على حل مشكلات البرامج في العالم الحقيقي بشكل أكثر موثوقية.

لتحسين قوة ومتانة وموثوقية SWE-bench، أطلقت OpenAI حملة توضيح يدوي أجراها مطورو برامج محترفون لفحص كل عينة في مجموعة اختبار SWE-bench للتأكد من أن نطاق اختبار الوحدة مناسب وأن وصف المشكلة واضح ولا لبس فيه.

وبالتعاون مع مؤلفي SWE-bench، أصدروا SWE-bench Verified: وهي مجموعة فرعية من مجموعة اختبار SWE-bench الأصلية تحتوي على 500 عينة تم التحقق منها بواسطة المعلقين البشريين. يحل هذا الإصدار محل مجموعات الاختبار الأصلية SWE-bench وSWE-bench Lite.

في اختبار SWE-bench Verified، نجح GPT-4o في حل 33.2% عينة، بينما نجح إطار عمل الوكيل مفتوح المصدر الأفضل أداءً Agentless في مضاعفة نتيجته إلى 16%.