HyperAIHyperAI

Command Palette

Search for a command to run...

GraphCFC: منهجية مبنية على الرسم البياني الموجهة لتعويض الميزات عبر الوسائط لتمييز المشاعر في المحادثات متعددة الوسائط

Jiang Li Xiaoping Wang Guoqing Lv Zhigang Zeng

الملخص

تلعب التعرف على المشاعر في المحادثة (ERC) دورًا مهمًا في أنظمة التفاعل البشري-الحاسوبي (HCI) نظرًا لقدرتها على تقديم خدمات تعاطفية. يمكن للنماذج متعددة الوسائط في ERC تقليل العيوب الناتجة عن النماذج أحادية الوسائط. في الآونة الأخيرة، تم استخدام شبكات الشبكات العصبية الرسومية (GNNs) على نطاق واسع في مجالات مختلفة بفضل أدائها المتميز في نمذجة العلاقات. في سياق ERC متعدد الوسائط، تمتلك GNNs القدرة على استخلاص المعلومات السياقية على مسافات طويلة والمعلومات التفاعلية بين الوسائط. ومع ذلك، نظرًا لأن الطرق الحالية مثل MMGCN تقوم بدمج الوسائط المتعددة بشكل مباشر، قد تنشأ معلومات زائدة وتُفقد معلومات متنوعة. في هذا العمل، نقدم وحدة مبنية على الرسم البياني موجهة تُسمى "مكملة الميزات عبر الوسائط الرسومية (GraphCFC)"، والتي يمكنها نمذجة المعلومات السياقية والتفاعلية بكفاءة. تعزز GraphCFC حل مشكلة الفجوة بين التمايز في الدمج متعدد الوسائط من خلال استخدام متعددة مُستخرجات الفضاءات الفرعية واستراتيجية التكميل عبر الوسائط الزوجية (PairCC). نستخرج أنواعًا مختلفة من الحواف من الرسم البياني المُنشئ لغرض الترميز، مما يمكّن شبكات GNN من استخلاص المعلومات السياقية والتفاعلية الحاسمة بدقة أكبر أثناء عملية نقل الرسائل. علاوةً على ذلك، صممنا بنية GNN تُسمى GAT-MLP، التي تقدم إطارًا شبكيًا موحدًا جديدًا للتعلم متعدد الوسائط. أظهرت النتائج التجريبية على مجموعتي بيانات معيار أن GraphCFC تتفوق على أحدث الطرق المتطورة (SOTA).


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
GraphCFC: منهجية مبنية على الرسم البياني الموجهة لتعويض الميزات عبر الوسائط لتمييز المشاعر في المحادثات متعددة الوسائط | مستندات | HyperAI