GraphCFC: منهجية مبنية على الرسم البياني الموجهة لتعويض الميزات عبر الوسائط لتمييز المشاعر في المحادثات متعددة الوسائط

تلعب التعرف على المشاعر في المحادثة (ERC) دورًا مهمًا في أنظمة التفاعل البشري-الحاسوبي (HCI) نظرًا لقدرتها على تقديم خدمات تعاطفية. يمكن للنماذج متعددة الوسائط في ERC تقليل العيوب الناتجة عن النماذج أحادية الوسائط. في الآونة الأخيرة، تم استخدام شبكات الشبكات العصبية الرسومية (GNNs) على نطاق واسع في مجالات مختلفة بفضل أدائها المتميز في نمذجة العلاقات. في سياق ERC متعدد الوسائط، تمتلك GNNs القدرة على استخلاص المعلومات السياقية على مسافات طويلة والمعلومات التفاعلية بين الوسائط. ومع ذلك، نظرًا لأن الطرق الحالية مثل MMGCN تقوم بدمج الوسائط المتعددة بشكل مباشر، قد تنشأ معلومات زائدة وتُفقد معلومات متنوعة. في هذا العمل، نقدم وحدة مبنية على الرسم البياني موجهة تُسمى "مكملة الميزات عبر الوسائط الرسومية (GraphCFC)"، والتي يمكنها نمذجة المعلومات السياقية والتفاعلية بكفاءة. تعزز GraphCFC حل مشكلة الفجوة بين التمايز في الدمج متعدد الوسائط من خلال استخدام متعددة مُستخرجات الفضاءات الفرعية واستراتيجية التكميل عبر الوسائط الزوجية (PairCC). نستخرج أنواعًا مختلفة من الحواف من الرسم البياني المُنشئ لغرض الترميز، مما يمكّن شبكات GNN من استخلاص المعلومات السياقية والتفاعلية الحاسمة بدقة أكبر أثناء عملية نقل الرسائل. علاوةً على ذلك، صممنا بنية GNN تُسمى GAT-MLP، التي تقدم إطارًا شبكيًا موحدًا جديدًا للتعلم متعدد الوسائط. أظهرت النتائج التجريبية على مجموعتي بيانات معيار أن GraphCFC تتفوق على أحدث الطرق المتطورة (SOTA).