Christoph Schuhmann Robert Kaczmarczyk Gollam Rabby Felix Friedrich Maurice Kraus Kourosh Nadi Huu Nguyen Kristian Kersting S\u00f6ren Auer

الملخص

تقدم نماذج تحويل النص إلى كلام وإنشاء الصوت الحاجة إلى مقاييس قوية لتقييم قدرات الفهم العاطفي لأنظمة الذكاء الاصطناعي. غالباً ما تظهر مجموعات البيانات الحالية للاعتراف بالعواطف في الكلام (SER) قيوداً في الدقة العاطفية، أو مخاوف تتعلق بالخصوصية، أو اعتمادها على الأداء الممثل. يقدم هذا البحث موردًا جديدًا للكشف عن العواطف في الكلام يُسمى EmoNet-Voice، والذي يتضمن EmoNet-Voice Big، وهي مجموعة بيانات كبيرة للتدريب الأولي (تحتوي على أكثر من 4,500 ساعة من الكلام عبر 11 صوتًا و40 عاطفة و4 لغات)، وEmoNet-Voice Bench، وهو مقاس جديد لمجموعة البيانات مع تسميات خبراء بشريين. تم تصميم EmoNet-Voice لتقييم نماذج SER على طيف دقيق يشمل 40 فئة عاطفية بأطوار مختلفة من الشدة. باستخدام أحدث تقنيات إنشاء الصوت، جمعنا مقاطع صوتية مصنعة تحاكي مشاهد مصممة لتحفيز عواطف معينة. وبشكل حاسم، أجرينا التحقق الدقيق بواسطة خبراء علم النفس الذين قاموا بتعيين درجات الشدة المدركة. يتيح هذا النهج المصنع والمحافظ على الخصوصية تضمين حالات عاطفية حساسة غالبًا ما تكون غائبة في المجموعات البيانات الحالية. وأخيرًا، نقدم نماذج Empathic Insight Voice التي تحدد معيارًا جديدًا في اعتراف العواطف في الكلام بمستوى عالٍ من الاتفاق مع الخبراء البشريين. أظهرت تقييماتنا عبر المناظر الحالية للنماذج نتائج قيمة، مثل أن العواطف ذات الاستثارة العالية مثل الغضب تكون أسهل بكثير في الكشف عنها من الحالات ذات الاستثارة المنخفضة مثل التركيز.