تحسين التكامل متعدد الوسائط باستخدام التحسين الهرمي للمعلومات المتبادلة لتحليل المشاعر متعدد الوسائط

في تحليل المشاعر متعددة الوسائط (MSA)، يعتمد أداء النموذج بشكل كبير على جودة التمثيلات المُولَّدة (الإندبِنجز). وتُولَّد هذه التمثيلات من عملية علوية تُسمى "دمج متعدد الوسائط" (multimodal fusion)، والتي تهدف إلى استخراج البيانات الأولية الأحادية الوسائط (unimodal raw data) من المدخلات ودمجها لإنتاج تمثيل متعدد الوسائط أكثر ثراءً. في الدراسات السابقة، تم إما عكس خسارة المهمة (back-propagating the task loss) أو تعديل الخصائص الهندسية لفضاءات الميزات بهدف تحقيق نتائج دمج مُفضّلة، لكن هذه الطرق تتجاهل الحفاظ على المعلومات الحرجة المرتبطة بالمهمة التي تتدفق من المدخلات إلى نتائج الدمج. في هذا العمل، نقترح إطارًا يُسمى "مُتعدد الوسائط إنفوماكس" (MultiModal InfoMax - MMIM)، والذي يُعدّل بشكل هرمي الـ"المعلومات التبادلية" (Mutual Information - MI) بين أزواج المدخلات الأحادية الوسائط (بين الوسائط) وبين نتيجة الدمج متعدد الوسائط والمدخلات الأحادية الوسائط، بهدف الحفاظ على المعلومات المرتبطة بالمهمة خلال عملية الدمج متعدد الوسائط. ويتم تدريب هذا الإطار مع المهمة الأساسية (MSA) بشكل مشترك، بهدف تحسين أداء المهمة التالية في تحليل المشاعر متعدد الوسائط. ولمعالجة مشكلة الحدود غير القابلة للحل للـMI، نقدّم مجموعة من الطرق الحسابية البسيطة، سواء المُعامِلة (parametric) أو غير المُعامِلة (non-parametric)، لتقريب القيم الحقيقية للـMI. وقد أظهرت النتائج التجريبية على مجموعتي بيانات شائعتين فعالية نهجنا. ويجدر بالذكر أن التنفيذ العملي لهذا العمل متوفر بشكل عام عبر الرابط التالي: https://github.com/declare-lab/Multimodal-Infomax.