Linhao Zhang Jian Zhang Bokai Lei Chuhan Wu Aiwei Liu Wei Jia Xiao Zhou

Résumé

Les récents modèles linguistiques à grande échelle (LLM) multimodaux, tels que GPT-4o, ont démontré des capacités remarquables d’interaction vocale directe. Toutefois, le manque de benchmarks spécialisés et complets pour l’évaluation des LLM vocaux en boucle complète entrave l’optimisation de l’expérience utilisateur des modèles audio LLM dans des applications du monde réel. Les méthodes d’évaluation existantes s’appuient souvent sur des benchmarks conçus pour le texte, en ignorant les caractéristiques et les défis spécifiques à la parole, tels que la prosodie, les homophones, les balbutiements ou encore les attentes utilisateur variables. Dans cet article, nous présentons le premier benchmark complet conçu pour évaluer de manière systématique les LLM vocaux en boucle complète dans des dialogues conversationnels réels. Nous avons soigneusement collecté des données de conversation issues de scénarios parlés du monde réel, introduit une diversité dans les attributs des locuteurs et les conditions acoustiques, et enrichi le jeu de données avec des phénomènes spécifiques à la parole. Nous avons également conçu une méthode d’évaluation pilotée par la requête, utilisant des listes de contrôle et des prompts personnalisés afin d’améliorer la précision de l’évaluation automatique. Une évaluation approfondie et une analyse détaillée de divers modèles vocaux majeurs ont révélé des différences significatives dans les performances des modèles selon les scénarios de parole. L’application de l’évaluation pilotée par la requête permet en outre une évaluation plus fine dans divers contextes spécifiques à la parole. Ce benchmark offre ainsi des perspectives précieuses pour le développement et l’évaluation des modèles vocaux.