EVA-Benchは、ServiceNowが公開したエンドツーエンドの音声エージェント評価ベンチマークデータセットです。関連する研究論文には、以下のようなものがあります。 EVA-Bench：音声エージェントを評価するための新しいエンドツーエンドフレームワーク本研究は、音声インテリジェントエージェントのタスク完了能力と対話体験を評価することを目的としており、対話型音声インテリジェントエージェントのシミュレーション対話生成や品質測定に広く用いられている。 このデータセットには、航空顧客サービス管理、医療人材サービス、企業ITサービス管理という3つの企業領域を網羅する213のシナリオが含まれています。39種類のワークフローと121のツール呼び出しが含まれており、複数ターンにわたる音声対話、ツール呼び出し、タスク完了状況、音声シナリオの堅牢性に関する包括的な評価をサポートします。

企業領域分類

• 航空会社の顧客サービス管理（CSM）：異常なフライトの再予約、自主的な変更、キャンセル、当日のスタンバイ、補償バウチャーの発行、敵対的なユーザーなど、50のシナリオを網羅しています。
• 医療人材サービス（HRSD）：医療従事者の入社手続きと資格確認、免許証とDEA登録の確認、OTP二次認証、休暇と特別申請、二重/三重意図の申請、敵対的ユーザーなど、83のシナリオを網羅しています。
• エンタープライズITサービス管理（ITSM）：インシデントの分類と処理、エスカレーション制御、変更と問題の管理、資産とアクセス制御、多段階認証、単一から4つの意図を持つ複合リクエスト、および敵対的ユーザーなど、80のシナリオを網羅しています。