متعددة المتغيرات، متعددة الترددات، متعددة الوسائط: إعادة التفكير في الشبكات العصبية الرسومية للتعرف على المشاعر في المحادثة

العلاقات المعقدة ذات الرتبة العالية عبر أبعاد الوسائط والسياق تمثل تحديًا جوهريًا في مهمة التعرف على المشاعر في المحادثات (ERC). ومع ذلك، فإن الأعمال السابقة تميل إلى تمثيل العلاقات متعددة الوسائط والسياق بطريقة مترابطة بشكل فضفاض، مما قد يضر بنمذجة العلاقات. في الآونة الأخيرة، عرضت الشبكات العصبية الرسومية (GNN) التي تُظهر مزايا في التقاط العلاقات بين البيانات، حلاً جديدًا لمشكلة ERC. ولكن النماذج الحالية القائمة على GNN لا تحل بعض القيود العامة للشبكات العصبية الرسومية، مثل الافتراضات المتعلقة بالصيغ الثنائية، وإزالة الإشارات عالية التردد، والتي قد تبدو تافهة في العديد من التطبيقات، لكنها بالغة الأهمية في مهمة ERC. في هذه الورقة، نقترح نموذجًا قائماً على GNN يستكشف العلاقات متعددة المتغيرات ويعمل على التقاط التباين في الأهمية بين التباين في المشاعر والتشابه بينها من خلال تقييم الإشارات متعددة الترددات. ونعزز قدرة الشبكات العصبية الرسومية على التقاط العلاقات الجوهرية بين التصريحات، ونُوفِّر نمذجة أكثر شمولاً متعددة الوسائط والسياق. وأظهرت النتائج التجريبية أن المنهج المقترح يتفوق على أحدث الأعمال السابقة على مستويات متقدمة في مجموعتي بيانات ERC متعددة الوسائط الشهيرتين.