EVA-Bench est un jeu de données de référence pour l'évaluation complète des agents vocaux, publié par ServiceNow. Parmi les articles de recherche associés, on peut citer… EVA-Bench : un nouveau cadre de bout en bout pour l’évaluation des agents vocauxIl vise à évaluer la capacité d'exécution des tâches et l'expérience interactive des agents vocaux intelligents, et est largement utilisé dans la génération de dialogues de simulation et la mesure de la qualité des agents vocaux intelligents conversationnels. Cet ensemble de données comprend 213 scénarios, couvrant trois domaines d'activité : la gestion du service client dans l'aviation, les services de ressources humaines dans le secteur médical et la gestion des services informatiques d'entreprise. Il inclut 39 types de flux de travail et 121 appels d'outils, et permet une évaluation complète des interactions vocales à plusieurs étapes, des appels d'outils, de l'état d'avancement des tâches et de la robustesse des scénarios vocaux.

Classification des domaines d'entreprise

• Gestion du service client des compagnies aériennes (CSM) : Couvre 50 scénarios, y compris les changements de réservation de vol anormaux, les modifications volontaires, les annulations, la mise en attente le jour même, l'émission de bons de compensation et les utilisateurs adverses.
• Services de ressources humaines pour le secteur de la santé (HRSD) : Couvrant 83 scénarios, y compris l'intégration et la vérification des qualifications du personnel médical, la vérification des licences et de l'enregistrement DEA, l'authentification secondaire OTP, les demandes de congés et les demandes spéciales, les demandes à double/triple intention et les utilisateurs adverses, etc.
• Gestion des services informatiques d'entreprise (ITSM) : couvre 80 scénarios, y compris la classification et la gestion des incidents, le contrôle des escalades, la gestion des changements et des problèmes, le contrôle des actifs et des accès, l'authentification multiniveau, les requêtes composées à intention unique à quatre intentions et les utilisateurs adverses.