COGMEN: اعتراف بسيط متعدد الوسائط يستند إلى الشبكة العصبية المُحتَوَاة على السياق

العواطف جزء لا يتجزأ من التفاعلات البشرية، ولذلك يُعد من الضروري تطوير أنظمة الذكاء الاصطناعي التي تفهم وتميّز العواطف البشرية. أثناء المحادثة التي تشمل عدة أشخاص، تتأثر عواطف شخص ما بعبارات المتحدث الآخر وحالته العاطفية الخاصة عبر التبادل النصي. في هذا البحث، نقترح نظام COGMEN (الاست recognizer العاطفي متعدد الوسائط القائم على الشبكة العصبية الرسومية المُحتَفَظة بالسياق)، الذي يستفيد من المعلومات المحلية (أي الاعتماديات الداخلية والخارجية بين المشاركين) والمعطيات العامة (السياق). تعتمد النموذج المقترح على بنية تعتمد على الشبكات العصبية الرسومية (GNN) لتمثيل الاعتماديات المعقدة (المعلومات المحلية والعالمية) في المحادثة. وقد حقق النموذج المُقترح نتائج من الدرجة الأولى (SOTA) على مجموعتي بيانات IEMOCAP وMOSEI، كما تُظهر تجارب التحليل التفصيلي أهمية تمثيل المعلومات على كلا المستويين.