EVA-Bench هي مجموعة بيانات مرجعية لتقييم وكلاء الكلام من البداية إلى النهاية، وقد أصدرتها شركة ServiceNow. تتضمن الأبحاث ذات الصلة ما يلي... EVA-Bench: إطار عمل جديد شامل لتقييم وكلاء الصوتيهدف إلى تقييم قدرة إكمال المهام والتجربة التفاعلية للوكلاء الصوتيين الأذكياء، ويستخدم على نطاق واسع في توليد حوار المحاكاة وقياس جودة الوكلاء الصوتيين الأذكياء للمحادثة. تحتوي هذه المجموعة من البيانات على 213 سيناريو، تغطي ثلاثة مجالات مؤسسية: إدارة خدمة عملاء الطيران، وخدمات الموارد البشرية الطبية، وإدارة خدمات تكنولوجيا المعلومات المؤسسية. وتشمل 39 نوعًا من سير العمل و121 استدعاءً للأدوات، وتدعم تقييمًا شاملًا للتفاعل الصوتي متعدد المراحل، واستدعاءات الأدوات، وحالة إنجاز المهام، ومدى متانة السيناريوهات الصوتية.

تصنيف مجال المؤسسة

• إدارة خدمة عملاء شركات الطيران (CSM): تغطي 50 سيناريو، بما في ذلك إعادة حجز الرحلات غير الطبيعية، والتغييرات الطوعية، والإلغاءات، والاحتياط في نفس اليوم، وإصدار قسائم التعويض، والمستخدمين العدائيين.
• خدمات الموارد البشرية في مجال الرعاية الصحية (HRSD): تغطي 83 سيناريو، بما في ذلك التوظيف والتحقق من مؤهلات العاملين الطبيين، والتحقق من الترخيص والتسجيل لدى إدارة مكافحة المخدرات، والمصادقة الثانوية لكلمة المرور لمرة واحدة، والإجازات والطلبات الخاصة، وطلبات النية المزدوجة/الثلاثية، والمستخدمين المعادين، وما إلى ذلك.
• إدارة خدمات تكنولوجيا المعلومات للمؤسسات (ITSM): تغطي 80 سيناريو، بما في ذلك تصنيف الحوادث والتعامل معها، والتحكم في التصعيد، وإدارة التغيير والمشاكل، والتحكم في الأصول والوصول، والمصادقة متعددة المستويات، والطلبات المركبة من نية واحدة إلى أربع نيات، والمستخدمين المعادين.