تمييز عاطفة الصوت باستخدام التعلم متعدد المهام

تمييز العواطف من خلال الكلام (SER) يصنف الكلام إلى فئات عاطفية مثل: سعيد، غاضب، حزين، ومحايد. في الآونة الأخيرة، تم تطبيق التعلم العميق على مهمة تمييز العواطف من خلال الكلام. تُقدّم هذه الورقة إطارًا للتعلم المتعدد المهام (MTL) لتنفيذ مهام التعرف على الكلام إلى نص وتصنيف العواطف في آنٍ واحد، باستخدام نموذج عصبي عميق متكامل يعتمد على wav2vec-2.0. أظهرت التجارب على معيار IEMOCAP أن الطريقة المقترحة تحقق أداءً متقدمًا على مستوى الحالة الحالية في مهمة SER. بالإضافة إلى ذلك، أثبتت الدراسة التحليلية (أبلاسيون) فعالية الإطار المُقترح للتعلم المتعدد المهام.