Linhao Zhang Jian Zhang Bokai Lei Chuhan Wu Aiwei Liu Wei Jia Xiao Zhou

要約

最近のマルチモーダル大規模言語モデル（LLM）であるGPT-4oなどは、直接的な音声対話の能力を顕著に示している。しかし、エンドツーエンド音声LLMの評価に特化した包括的なベンチマークが不足しているため、実世界の応用における音声LLMのユーザーエクスペリエンス最適化が阻害されている。既存の評価手法は多くの場合、テキストベースのベンチマークをそのまま適用しており、音声特有の特性や課題、たとえば抑揚、同音異義語、口ごもり、およびユーザーの期待の違いなどを無視している。本研究では、実用的な音声会話におけるエンドツーエンド音声LLMを体系的に評価することを目的とした、初めての包括的ベンチマークを提案する。我々は、実際の会話場面に適したリアルなチャットデータを体系的に収集し、話者の属性や音響環境の多様性を導入するとともに、音声特有の現象を追加してデータセットを拡張した。さらに、クエリに応じた評価手法を設計し、カスタマイズされた評価チェックリストおよびプロンプトを用いることで、自動評価の精度を向上させた。さまざまな主要な音声モデルについて包括的なテストと詳細な分析を行った結果、モデルの性能が異なる音声シナリオにおいて顕著な差異を示すことが明らかになった。クエリに応じた評価手法の導入により、音声特有のさまざまなシナリオにおけるより細かい粒度の評価が可能となった。本ベンチマークは、音声モデルの開発と評価に貴重な知見を提供するものである。