شبكة عصبية معاكسة مجالية تعتمد على السياق للتعرف على المشاعر متعددة الوسائط

يظل التعرف على المشاعر مهمة معقدة بسبب التباين بين المتكلمين وندرة عينات التدريب ذات الموارد المنخفضة. وللتغلب على هذه التحديات، نركز على استخدام الشبكات العصبية المتنافسة عبر المجال (DANN) للتعرف على المشاعر. المهمة الأساسية هي التنبؤ بعلامات المشاعر، بينما تتمثل المهمة الثانوية في تعلم تمثيل مشترك لا يمكن من خلاله التمييز بين هويات المتكلمين. وباستخدام هذا النهج، نقترب من التمثيلات الخاصة بمختلف المتكلمين. وفي الوقت نفسه، وباستخدام البيانات غير المُصنفة خلال عملية التدريب، نخفف من تأثير ندرة عينات التدريب ذات الموارد المنخفضة. وفي الوقت ذاته، أظهرت الدراسات السابقة أن المعلومات السياقية والسمات متعددة الوسائط تُعدّ عوامل مهمة في التعرف على المشاعر. غير أن النهج السابقة القائمة على DANN تتجاهل هذه المعلومات، مما يحد من أداءها. في هذه الورقة، نقترح شبكة عصبية متنافسة عبر المجال تعتمد على السياق لتمكين التعرف على المشاعر متعددة الوسائط. ولإثبات فعالية المنهج المقترح، أجرينا تجارب على مجموعة البيانات القياسية IEMOCAP. وتبين نتائج التجارب أن المنهج المقترح يحقق تحسناً مطلقاً بنسبة 3.48% مقارنة بالاستراتيجيات الرائدة في مجالها.