مجموعة بيانات مسارات الوكلاء لهندسة البرمجيات من Gemma 4 TFD

نظرة عامة على مجموعة البيانات

مجموعة بيانات مسارات الوكلاء من Gemma 4 TFD هي مجموعة بيانات لمسارات التنفيذ والتقييم المرجعي لمهام الوكلاء في هندسة البرمجيات، وقد بُنيت حول نموذج Google Gemma 4. وتهدف إلى تقييم أداء استراتيجيات الوكلاء المختلفة في مهام تصحيح الأخطاء وإصلاح الكود من خلال تسجيل عملية تنفيذ الوكيل أثناء حل مشاكل هندسة البرمجيات وتغذية الاختبار الراجعة.

تستند هذه المجموعة إلى مهام معدّلة من SWE-bench Lite، وتحتوي على 50 مشكلة في هندسة البرمجيات، وتوفر مسارات تنفيذ متعددة الجولات للوكلاء، وسجلات استدعاء الأدوات، ونتائج التحقق من الاختبارات الآلية، وبيانات التقييم المرجعي لاستراتيجيات الوكلاء المختلفة.

مكونات مجموعة البيانات

• مسارات تنفيذ الوكلاء: تسجّل التفاعلات متعددة الجولات، وتنفيذ المهام، وعملية إصلاح الكود أثناء حل الوكيل لمشاكل هندسة البرمجيات، وتعرض خطوات التنفيذ من تحديد المشكلة إلى التحقق من الإصلاح.
• سجلات استدعاء الأدوات: تتضمن معلومات استدعاء الأدوات أثناء تنفيذ الوكيل، بما في ذلك البحث في الكود، وعمليات الملفات، وتنفيذ الاختبارات، ويمكن استخدامها لتحليل سير عمليات الوكيل واستراتيجيات التنفيذ.
• تغذية الاختبار الراجعة ونتائج التحقق: توفر تغذية راجعة من اختبارات الوحدات الآلية ومعلومات التحقق، لتقييم ما إذا كانت تعديلات الكود تفي بمتطلبات المهمة، ولتتبع عملية التصحيح اللاحقة التي يجريها الوكيل بناءً على نتائج الاختبار.
• بيانات التقييم المرجعي: توفر من خلال ملفات مثل benchmark_summary.csv نتائج تقييم المهمة لاستراتيجيات الوكلاء المختلفة، بما في ذلك استراتيجية ReAct القياسية والاستراتيجية القائمة على تغذية الاختبار الراجعة (TFD-Agent)، وذلك لمقارنة معدلات حل المهمة وكفاءة التنفيذ.
• موارد التقييم وإعادة الإنتاج: توفر ملفات مسارات الوكلاء، وبيانات التقييم المرجعي، والتوثيق ذي الصلة، مما يدعم أبحاث مهام الوكلاء في هندسة البرمجيات، ومقارنة الاستراتيجيات، وإعادة إنتاج التجارب.