Command Palette
Search for a command to run...
شبكة عصبية رسمية فعالة للعلاقات الكامنة على المدى الطويل للاعتراف بالعواطف متعددة الأوضاع في المحادثات
شبكة عصبية رسمية فعالة للعلاقات الكامنة على المدى الطويل للاعتراف بالعواطف متعددة الأوضاع في المحادثات
Yuntao Shou Wei Ai Jiayi Du Tao Meng* Haiyan Liu Nan Yin
الملخص
تهدف مهمة التعرف على العواطف متعددة الوسائط في المحادثة (MERC) إلى تحليل الحالة العاطفية الحقيقية لكل تصريح بناءً على المعلومات متعددة الوسائط في المحادثة، وهي مهمة أساسية لفهم المحادثة. تركز الأساليب الحالية على استخدام شبكات الجرافات العصبية (GNN) لنمذجة علاقات المحادثة وتقاطع العلاقات الدلالية السياقية. ومع ذلك، بسبب تعقيد GNN، لا يمكن للأساليب الحالية التقاط الارتباطات المحتملة بين التصريحات البعيدة بكفاءة، مما يحد من أداء MERC. في هذا البحث، نقترح شبكة جرافات عصبية فعّالة وواعية بالعلاقات الضمنية بين التصريحات البعيدة (ELR-GNN) للتعرف على العواطف متعددة الوسائط في المحادثات. تحديداً، نستخدم أولاً الخصائص النصية والمرئية والسمعية المستخرجة مسبقًا كمدخلات لـ Bi-LSTM لتقاطع المعلومات الدلالية السياقية والحصول على خصائص تصريحات منخفضة المستوى. ثم نستخدم خصائص التصريحات منخفضة المستوى لبناء رسم بياني للتفاعل العاطفي في المحادثة. لتحقيق تقاطع الارتباطات المحتملة بين التصريحات البعيدة بكفاءة، نستخدم خوارزمية الدفع الأمامي العامة المنتشرة لحساب انتشار العواطف بين التصريحات العالمية ونصمم مشغلًا واعيًا بالعلاقات العاطفية لتقاطع الارتباطات الدلالية المحتملة بين التصريحات المختلفة. بالإضافة إلى ذلك، نجمع بين آليتي الاندماج المبكر والاندماج المتأخر المرنة لدمج معلومات الارتباط الضمني بين معلومات علاقات المتحدث والسياق. وأخيراً، نحصل على خصائص الخطاب عالية المستوى ونقدمها إلى MLP لتوقع العواطف. تظهر النتائج التجريبية الشاملة أن ELR-GNN تحقق أداءً رائدًا على قواعد البيانات المرجعية IEMOCAP و MELD، مع تقليل أوقات التشغيل بنسبة 52٪ و 35٪ على التوالي.