Ziting Wang Shize Zhang Haitao Yuan Jinwei Zhu et al

الملخص

تُبرز الطلب المتزايد على اتخاذ القرارات القائمة على البيانات حاجة ملحة لتطوير وكالات بيانات قادرة على دمج البيانات المنظمة وغير المنظمة لإجراء التحليلات. وعلى الرغم من الاحتمالات الواعدة التي تُظهرها وكالات البيانات في تمكين المستخدمين من إنجاز مهام تحليلية معقدة، إلا أن هذا المجال ما يزال يعاني من ثلاث قيود حرجة: أولًا، غياب معايير تقييم شاملة لوكالات البيانات، نظرًا لصعوبة تصميم حالات اختبار تقيّم قدرات الوكالات في مهام تحليلية متعددة المصادر؛ ثانيًا، يظل بناء حالات اختبار موثوقة تدمج بين البيانات المنظمة وغير المنظمة مكلفًا وصعبًا للغاية؛ ثالثًا، تُظهر المعايير الحالية قدرة محدودة على التكيّف والتوسع العام، ما يؤدي إلى نطاق تقييم ضيق.ولمعالجة هذه التحديات، نقدّم "FDABench"، وهي أول معيار مخصص لتقييم وكالات البيانات في السيناريوهات التحليلية متعددة المصادر. وتشمل مساهماتنا ما يلي: (أ) نُنشئ معيارًا موحدًا يحتوي على 2007 مهام متنوعة، تغطي مصادر بيانات مختلفة، وقطاعات معرفية متنوعة، ومستويات صعوبة مختلفة، وأنواع مهام متعددة، بهدف تقييم أداء وكالات البيانات بشكل شامل؛ (ب) نصمم إطارًا تعاونيًا بين الوكالة والخبير، يضمن بناء معيار موثوق وفعال على بيانات متنوعة ومتباينة؛ (ج) نزوّد FDABench بقدرات قوية على التعميم عبر أنظمة وأطر عمل متنوعة. وقد استخدمنا FDABench لتقييم عدة أنظمة وكالات بيانات، حيث كشفت النتائج أن كل نظام يمتلك مزايا وقيودًا مميزة فيما يتعلق بجودة الاستجابة، والدقة، والتأخير، وتكلفة الرموز (tokens).