الاندماج المُنتَقِي الذاتي للتعرف على العواطف الصوتية البصرية مع بيانات غير كاملة

في هذه الورقة، نتناول مشكلة تحليل البيانات متعددة الوسائط من خلال حالة استخدام تتضمن التعرف على المشاعر من خلال الوسائط الصوتية والبصرية. نقترح معمارية قادرة على التعلم من البيانات الخام، ونصف ثلاث نسخ متنوعة منها تتميز بآليات مختلفة لدمج الوسائط. في حين أن معظم الدراسات السابقة افترضت السيناريو المثالي الذي يتوفر فيه كلا الوسائط في جميع الأوقات أثناء الاستدلال، فإننا نقيّم مقاومة النموذج في البيئات غير المقيدة حيث قد يكون أحد الوسائط مفقودًا أو ملوثًا، ونُقدّم طريقة لتخفيف هذه القيود من خلال ما يُعرف بـ"إسقاط الوسائط" (modality dropout). والأهم من ذلك، نجد أن اتباع هذا النهج لا يُحسّن الأداء بشكل كبير في حال غياب أو تلوث تمثيل أحد الوسائط، بل يُحسّن أيضًا الأداء في البيئة القياسية المثالية، متفوقًا على الطرق المنافسة.