مجموعة بيانات معيارية لجمع المعلومات من WideSearch

*تدعم مجموعة البيانات هذه الاستخدام عبر الإنترنت.انقر هنا للقفز.

WideSearch هي أول مجموعة بيانات مرجعية لتقييم الوكيل مصممة "للبحث عن معلومات واسعة النطاق" أصدرها فريق Seed التابع لشركة ByteDance في عام 2025. نتائج الورقة البحثية ذات الصلة هي "WideSearch: وكلاء قياس الأداء للبحث عن المعلومات على نطاق واسع"، والذي يهدف إلى تقييم وتعزيز موثوقية وسلامة نماذج اللغة الكبيرة بشكل منهجي في جمع الحقائق على نطاق واسع والتوليف والإخراج المنظم القابل للتحقق.

يتكون المعيار من 200 سؤال عالي الجودة (100 سؤال باللغة الإنجليزية و100 سؤال باللغة الصينية) تم اختيارها بعناية وتنقيحها يدويًا بواسطة فريق البحث من استعلامات المستخدمين الفعلية. تأتي هذه الأسئلة من أكثر من 15 مجالًا مختلفًا.

حقول البيانات:

• instance_id: معرف فريد للمهمة (يتوافق مع اسم ملف CSV الذهبي).
• الاستعلام: تعليمة باللغة الطبيعية، تحدد عادةً أسماء الأعمدة المطلوبة ومتطلبات إخراج جدول Markdown.
• التقييم: كائن متسلسل (سلسلة) يستخدم للتقييم التلقائي، ويحتوي على:
  • unique_columns: أعمدة المفتاح الأساسي (لمحاذاة الصفوف)؛
  • مطلوب: اسم العمود الذي يجب أن يظهر؛
  • eval_pipeline: تكوين التقييم على مستوى العمود (مثل المعالجة المسبقة والمقياس والمعيار).
• اللغة: لغة المهمة، يمكن أن تكون القيمة en أو zh.