DAComp: تقييم الوكالات البيانات عبر دورة حياة الذكاء البيانات بالكامل
DAComp: تقييم الوكالات البيانات عبر دورة حياة الذكاء البيانات بالكامل

الملخص
تتضمن سير العمل الواقعية في مجال ذكاء البيانات المؤسسية تهيئة البيانات التي تحول المصادر الخام إلى جداول جاهزة للتحليل، بالإضافة إلى تحليل البيانات الذي يحوّل هذه الجداول إلى رؤى تُوجّه القرار. نقدّم DAComp، وهو معيار يتكوّن من 210 مهمة يعكس هذه السير العمل المعقدة. تتطلب مهام تهيئة البيانات (DE) هندسة على مستوى المستودع بالنسبة إلى النماذج الصناعية، بما في ذلك تصميم وبناء خطوط أنابيب SQL متعددة المراحل من الصفر، وتطوير الأنظمة القائمة ضمن متطلبات متغيرة باستمرار. أما مهام تحليل البيانات (DA)، فهي تطرح مشكلات أعمال غير محددة بدقة، وتتطلب تخطيطًا استراتيجيًا، وتحليلًا استكشافيًا عبر برمجة متكررة، وتفسيرًا للنتائج الوسيطة، وصياغة توصيات قابلة للتنفيذ. يتم تقييم مهام الهندسة من خلال تقييم مبني على التنفيذ، باستخدام مقاييس متعددة. أما المهام المفتوحة، فيتم تقييمها بواسطة مُقيّم مبني على نموذج لغوي كبير (LLM) موثوق، وقد تم التحقق منه تجريبيًا، والذي يُرشد بواسطة معايير هرمية مُعدّة بدقة. تُظهر تجاربنا أن حتى أكثر الوكلاء تقدمًا يواجهون صعوبات في أداء DAComp. وتشير النتائج إلى أن الأداء في مهام تهيئة البيانات منخفض جدًا، حيث لا يتجاوز معدل النجاح 20٪، مما يكشف عن عائق حاسم في تنسيق خطوط الأنابيب الشاملة، وليس مجرد إنتاج الكود. كما أن المتوسط العام للدرجات في مهام التحليل لا يتجاوز 40٪، مما يبرز عجزًا عميقًا في التفكير المفتوح، ويُثبت أن المهارات الهندسية والتحليلية تمثل كفاءات مختلفة. وبتحليل واضح لهذه القيود، يوفر DAComp بيئة اختبار صارمة وواقعية لدفع تطوير وكلاء بيانات مستقلين فعلاً قادرين على الأداء في البيئات المؤسسية. يمكن الوصول إلى بياناتنا والكود الخاص بنا عبر الرابط: https://da-comp.github.io
بناء الذكاء الاصطناعي بالذكاء الاصطناعي
من الفكرة إلى الإطلاق — عجّل تطوير الذكاء الاصطناعي الخاص بك من خلال البرمجة المشتركة المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.