Linhao Zhang Jian Zhang Bokai Lei Chuhan Wu Aiwei Liu Wei Jia Xiao Zhou

الملخص

أظهرت النماذج الكبيرة للغة متعددة الوسائط الحديثة، مثل GPT-4o، قدرات قوية على التفاعل الصوتي المباشر. ومع ذلك، فإن غياب المعايير المتخصصة والشاملة لتقييم النماذج اللغوية الصوتية من البداية إلى النهاية يعيق تحسين تجربة المستخدم في تطبيقات النماذج الصوتية الحقيقية. غالبًا ما تُعدّل الطرق الحالية لتقييم النماذج الصوتية من معايير مبنية على النص، مع تجاهل الخصائص الفريدة والتحديات الخاصة بالصوت، مثل النبرة الصوتية (Prosody)، والكلمات المتشابهة في النطق (Homophones)، والتعثر في الكلام (Stuttering)، وتفاوت توقعات المستخدمين. في هذا العمل، نقدم أول معيار شامل مصمم لتقييم منهجي للنماذج اللغوية الصوتية من البداية إلى النهاية في المحادثات الصوتية الواقعية. نقوم بجمع منهجي لبيانات دردشة حقيقية ذات صلة بالسياقات الصوتية، ونُدخل تنوعًا في خصائص المُتحدثين والظروف الصوتية، ونُعزز مجموعة البيانات بظواهر خاصة بالصوت. كما نصمم طريقة تقييم تعتمد على الاستعلام (query-aware evaluation)، تُستخدم فيها قوائم تقييم ومُحفِّزات مخصصة لتعزيز دقة التقييم الآلي. قمنا بإجراء اختبارات شاملة وتحليل مفصل لأنماط صوتية رائجة، ما كشف عن فروقات كبيرة في أداء النماذج عبر سيناريوهات صوتية مختلفة. كما أن استخدام طريقة التقييم المُستندة إلى الاستعلام يمكّن من تقييم أكثر دقة في ظل سيناريوهات صوتية متخصصة. يمكن لهذا المعيار أن يوفر رؤى قيمة لتطوير وتحسين النماذج الصوتية.