مجموعة بيانات تقييم التعليمات العكسية IFEval-Inverse

IFEval-Inverse هي مجموعة بيانات لتقييم التعليمات التنافسية لنماذج اللغات الكبيرة، أصدرتها شركة ByteDance Seed عام ٢٠٢٥ بالتعاون مع جامعة نانجينغ وجامعة تسينغهوا ومؤسسات أخرى. نتائج البحث ذات الصلة هي:التقييم العكسي IFEval: هل يستطيع طلاب الماجستير في القانون التخلص من اتفاقيات التدريب العنيدة من أجل اتباع التعليمات الحقيقية؟"، والذي يهدف إلى اختبار ما إذا كان النموذج قادرًا على كسر جمود التدريب وتحقيق متابعة التعليمات الحقيقية عند مواجهة تعليمات عكسية أو غير طبيعية.

تحتوي هذه المجموعة من البيانات على 1012 عينة أسئلة ثنائية اللغة عالية الجودة باللغتين الصينية والإنجليزية، تغطي ثمانية أنواع من تحديات التعليم غير الاعتيادية، بما في ذلك تصحيح الأسئلة، والأخطاء النصية المتعمدة، والأكواد غير المُعلّقة، والتنسيق غير الاعتيادي، والإجابات غير الصحيحة المتعمدة، والأسئلة الإرشادية، ومراجعات التعليمات أثناء الدورة، والإجابة على الأسئلة الافتراضية، وذلك عبر 23 مجالًا مختلفًا. تخضع كل عينة لمزيج من الفحص والتحقق بين الإنسان والآلة، وتستخدم آلية التقييم الآلي "ماجستير في القانون كقاضي". هذا يجعلها مناسبة لتقييم وتحسين قابلية تكيف النماذج ومتانتها في سيناريوهات التعليم غير التقليدية، كما توفر معيارًا مهمًا للأبحاث المتعلقة بتخفيف القصور الذاتي المعرفي للنماذج.