MMLatch: تكامل من الأسفل إلى الأعلى لتحليل المشاعر متعددة الوسائط

تعتمد النماذج الحالية في التعلم العميق لدمج البيانات متعددة الوسائط على دمج منخفض المستوى للتمثيلات الوسيطة والمتقدمة (الدمج المتأخر/الوسيط) أو على دمج المدخلات الحسية منخفضة المستوى (الدمج المبكر). وتشير النماذج المتعلقة بتمييز الإنسان إلى أهمية الدمج العلوي، حيث تؤثر التمثيلات المتقدمة على الطريقة التي تُدرك بها المدخلات الحسية، أي أن التفكير يُؤثر على الإدراك. إلا أن هذه التفاعلات العلوية لا تُمثَّل في النماذج الحالية للتعلم العميق. في هذه الدراسة، نقترح معمارية عصبية تُمكّن من التقاط التفاعلات المتقاطعة بين الوسائط على المستوى العلوي، باستخدام آلية تغذية راجعة خلال المرحلة الأمامية أثناء تدريب الشبكة. تعتمد الآلية المقترحة على استخلاص تمثيلات متقدمة لكل وسائط، ثم استخدام هذه التمثيلات لوضع قناع على المدخلات الحسية، مما يسمح للنموذج بتنفيذ قناع الميزات على المستوى العلوي. ونطبّق النموذج المقترح على مهمة التعرف على المشاعر متعددة الوسائط باستخدام مجموعة بيانات CMU-MOSEI. تُظهر النتائج تحسينات متسقة مقارنةً بنموذج MulT المعروف جيدًا، وكذلك مقارنةً بقاعدة الدمج المتأخر القوية التي طوّرناها، محققةً نتائجًا رائدة في مجالها.