FDAbench-Full هو أول معيار مرجعي لمهام تحليل البيانات غير المتجانسة لوكلاء البيانات، أصدرته جامعة نانيانغ التكنولوجية والجامعة الوطنية في سنغافورة وشركة هواوي تكنولوجيز المحدودة في عام 2025. نتائج الورقة ذات الصلة هي "FDABench: معيار لوكلاء البيانات في الاستعلامات التحليلية على البيانات غير المتجانسة"، والذي يهدف إلى تقييم قدرات النموذج في توليد استعلامات قاعدة البيانات، وفهم SQL، وتحليل البيانات المالية.

تحتوي مجموعة البيانات على 2007 مهمة تحليل عالية الجودة، تغطي نطاقًا متنوعًا من مجالات البيانات ومستويات الصعوبة وفئات المهام. يتضمن كل مثال حقول بيانات وصفية كاملة، بما في ذلك: task_id (معرّف المهمة الفريد)، وinstance_id (معرّف المثيل)، وdb (اسم/معرّف قاعدة البيانات)، وlevel (مستوى الصعوبة: سهل/متوسط/صعب)، وdata_type (نوع نظام قاعدة البيانات)، وquestion_type (فئة السؤال)، وtools_available (قائمة الأدوات المتاحة)، وquery (نص السؤال/الاستعلام الرئيسي).

بنية مجموعة البيانات

تحتوي مجموعة البيانات على ثلاثة أنواع من المهام:

• أسئلة الاختيار من واحد: يوجد 579 سؤالاً مُصممة بعناية، ولكل منها إجابة صحيحة واحدة فقط. تُستخدم هذه الأسئلة بشكل رئيسي لاختبار فهم النموذج لمفاهيم قواعد البيانات واستعلامات SQL.
• أسئلة الاختيار من متعدد: ما مجموعه 760 سؤالاً معقداً مع عدة احتمالات لإجابات صحيحة. تتضمن هذه الأسئلة نتائج حسابية رقمية دقيقة واستنتاجات مبنية على المنطق، وتُستخدم لتقييم الأداء الشامل للنموذج في تحليل البيانات وقدراته على المنطق.
• إنشاء التقارير (التقرير): يتطلب إجمالي 668 سؤالاً إنشاء تقارير تحليل مفصلة، واختبار قدرة وكيل البيانات على إجراء تحليل شامل في بيئة متعددة مصادر البيانات، وتوفير تقرير قياسي كمعيار تقييم مقارن.