MM-DFN: شبكة تكامل ديناميكي متعددة الوسائط للتعرف على المشاعر في المحادثات

تمثّل التعرف على المشاعر في المحادثات (ERC) فرصًا واعدة لتطوير آلات تعاطفية. بالنسبة للتعرف على المشاعر متعدد الوسائط، من الضروري فهم السياق ودمج معلومات الوسائط في المحادثات. تُركّز الطرق الحديثة القائمة على الرسوم البيانية لدمج المعلومات بشكل رئيسي على استكشاف التفاعلات أحادية الوسائط والمتعددة الوسائط داخل الرسم البياني. ومع ذلك، فإن هذه الطرق تُجمّع معلومات متكررة في كل طبقة، مما يحد من فهم السياق بين الوسائط. في هذه الورقة، نُقدّم شبكة تفاعل ديناميكي متعدد الوسائط جديدة (MM-DFN) للتعرف على المشاعر من خلال فهم شامل لسياق المحادثات متعدد الوسائط. وبشكل خاص، نصمم وحدة دمج ديناميكية قائمة على الرسوم البيانية جديدة لدمج السمات السياقية متعددة الوسائط في المحادثات. وتقلل هذه الوحدة من التكرار وتعزز التكامل بين الوسائط من خلال التقاط ديناميكيات المعلومات السياقية في فضاءات معنوية مختلفة. وأظهرت تجارب واسعة على مجموعتين عامتين من البيانات المعيارية فعالية وتفوّق MM-DFN.