التفسير التجريبي لفهم العواطف الصوتية باستخدام نموذج مبني على الانتباه للتعرف على العواطف الصوتية

إن تمييز عواطف الكلام ضروري للحصول على الذكاء العاطفي، والذي يؤثر على فهم السياق والمعنى في الكلام. فالصوتيات المُنظمة هرميًا للحروف الصوتية والحروف المُختلطة تضيف مؤشرات فردية (indexical) ومؤشرات لغوية في المعلومات المُستمعة. وقد أثارت الأبحاث السابقة جدلًا حول ما إذا كانت مؤشرات الصوت الصوتي أكثر أهمية في نقل السياق العاطفي من منظور نفسي ولغوي. كما ذكرت أبحاث أخرى أن معلومات العاطفة قد توجد في مؤشرات صوتية صغيرة تتداخل مع بعضها. ومع ذلك، لم تُؤكَّد هذه الادعاءات في نماذج معالجة عواطف الكلام الحاسوبية. في هذه الدراسة، تم تطبيق نموذجين: نموذج مبني على التحويل (convolution-based) ونموذج مبني على الذاكرة الطويلة القصيرة الأمد (LSTM-based)، وكلا النموذجين يستخدمان آلية الانتباه (attention)، بهدف استكشاف هذه النظريات المتعلقة بعواطف الكلام في النماذج الحاسوبية. وأُظهرت أهمية السياق الصوتي والأهمية النسبية لكلمة معينة في مهمة تمييز عواطف الكلام. وتم تقييم مجموعة بيانات IEMOCAP باستخدام النماذج المقترحة، وتم تحقيق دقة غير موزونة قدرها 80.1٪ على البيانات الصوتية النقية، وهي دقة أعلى من النماذج الحالية الأفضل في هذا المجال. كما تم تعيين الأصوات (phones) والكلمات إلى متجهات الانتباه، حيث تبين أن الأصوات الصوتية (vowel sounds) أكثر أهمية في تحديد المؤشرات الصوتية العاطفية مقارنة بالأصوات المُختلطة (consonants)، كما أن النموذج قادر على تعيين أهمية الكلمات بناءً على السياق الصوتي.