استغلال التقدم الأخير في التعلم العميق للتعرف على المشاعر الصوتية البصرية

التعابير العاطفية هي السلوكيات التي تُستخدم للتعبير عن حالتنا العاطفية أو موقفنا تجاه الآخرين. وتنعكس هذه التعابير من خلال الاتصال اللفظي وغير اللفظي. ويمكن فهم السلوك البشري المعقد من خلال دراسة السمات الجسدية المستمدة من وسائل متعددة، وخاصة الوجه، والصوت، والحركة الجسدية. في الآونة الأخيرة، تم دراسة التعرف على العواطف متعددة الوسائط التلقائية بشكل واسع لتحليل السلوك البشري. في هذا البحث، نقترح منهجًا جديدًا يعتمد على التعلم العميق للتعرف على العواطف من خلال الوسائط الصوتية والبصرية. ويستفيد هذا المنهج من التطورات الحديثة في التعلم العميق، مثل تبادل المعرفة (Knowledge Distillation) والهياكل العميقة عالية الأداء. ويتضمن الدمج بين تمثيلات الميزات العميقة للوسائط الصوتية والبصرية باستخدام استراتيجية دمج على مستوى النموذج. ثم يتم استخدام شبكة عصبية متكررة (Recurrent Neural Network) لالتقاط الديناميات الزمنية. وقد أظهرت النتائج أن المنهج المقترح يتفوق بشكل ملحوظ على أحدث الطرق في توقع القيمة (Valence) على مجموعة بيانات RECOLA. علاوة على ذلك، يتفوق الشبكة المقترحة لاستخراج ميزات تعابير الوجه العاطفية على النتائج المتميزة في مجموعتي بيانات AffectNet وGoogle Facial Expression Comparison.