EVA-Bench ist ein von ServiceNow veröffentlichter Benchmark-Datensatz zur Evaluierung von Sprachagenten. Zugehörige Forschungsarbeiten umfassen... EVA-Bench: Ein neues End-to-End-Framework zur Evaluierung von SprachagentenZiel ist die Bewertung der Aufgabenerfüllungsfähigkeit und der interaktiven Erfahrung von sprachgesteuerten intelligenten Agenten. Es findet breite Anwendung in der Simulationsdialoggenerierung und Qualitätsmessung von konversationellen sprachgesteuerten intelligenten Agenten. Dieser Datensatz umfasst 213 Szenarien aus drei Unternehmensbereichen: Kundenservice-Management in der Luftfahrt, Personalwesen im Gesundheitswesen und IT-Servicemanagement. Er beinhaltet 39 Workflow-Typen und 121 Tool-Aufrufe und ermöglicht eine umfassende Bewertung der mehrstufigen Sprachinteraktion, der Tool-Aufrufe, des Aufgabenabschlussstatus und der Robustheit der Sprachszenarien.

Unternehmensdomänenklassifizierung

• Airline Customer Service Management (CSM): Umfasst 50 Szenarien, darunter Umbuchungen bei ungewöhnlichen Flugbedingungen, freiwillige Änderungen, Stornierungen, Standby-Flüge am selben Tag, Ausstellung von Entschädigungsgutscheinen und unkooperative Nutzer.
• Dienstleistungen im Bereich Personalwesen im Gesundheitswesen (HRSD): Abdeckung von 83 Szenarien, darunter Onboarding und Qualifikationsprüfung von medizinischem Personal, Überprüfung von Lizenzen und DEA-Registrierungen, sekundäre OTP-Authentifizierung, Urlaubs- und Sonderanträge, Anfragen mit doppelter/dreifacher Absicht und feindliche Benutzer usw.
• Enterprise IT Service Management (ITSM): Umfasst 80 Szenarien, darunter Vorfallklassifizierung und -bearbeitung, Eskalationskontrolle, Änderungs- und Problemmanagement, Anlagen- und Zugriffskontrolle, mehrstufige Authentifizierung, zusammengesetzte Anfragen mit einer bis vier Absichten sowie angreifende Benutzer.