مالتيلوغ-نيت: شبكة RNN واعية بالسياق للكشف عن المشاعر متعددة الوسائط وتحليل المشاعر في المحادثة

تحليل المشاعر وكشف المشاعر في المحادثات يُعدّ عنصراً أساسياً في عدد من التطبيقات الواقعية، حيث يساهم الزيادة في عدد الوسائط المتاحة في تحسين الفهم للعواطف الكامنة وراء التفاعل. ويمكن أن يكون كشف العواطف وتحليل المشاعر متعدد الوسائط مفيداً بشكل خاص، إذ تُتيح التطبيقات استخدام مجموعات فرعية محددة من الوسائط المتاحة وفقاً للبيانات المتاحة. ومع ذلك، تفشل الأنظمة الحالية التي تعالج الوظائف متعددة الوسائط في استغلال وتمثيل السياق الناتج عن المحادثة عبر جميع الوسائط، فضلاً عن الاعتماد المتبادل بين حالات العاطفة لدى المستمع(ين) والمحادث، وكذلك العلاقة والملاءمة بين الوسائط المتاحة. في هذا البحث، نقترح بنية متسلسلة من نوع RNN (الشبكة العصبية التكرارية) من الطرف إلى الطرف، تسعى إلى أخذ جميع هذه العيوب المذكورة بعين الاعتبار. وبما أن هذا النموذج تم تطويره، فإنه يتفوق على أفضل الأداء الحالي (State-of-the-Art) في مجموعة بيانات معيارية، على مجموعة متنوعة من مقاييس الدقة والانحدار.