عوائق الانتباه للدمج متعدد الوسائط

يُدرك البشر العالم من خلال معالجة ودمج مدخلات عالية الأبعاد من مختلف الوسائط بشكل متزامن، مثل الرؤية والصوت. على النقيض من ذلك، تكون نماذج الإدراك الآلي عادةً مخصصة لوسيلة واحدة، وتمتدّ لتحسين الأداء في معايير أحادية الوسيلة، مما يجعل دمج التمثيلات أو التنبؤات النهائية من كل وسيلة في المراحل الأخيرة (الدمج المتأخر) ما يزال النموذج السائد في تصنيف الفيديو متعدد الوسائط. بدلًا من ذلك، نقدم معمارية جديدة تعتمد على التحويلات (Transformer) وتستخدم ما يُعرف بـ "القيود التجميعية" (fusion bottlenecks) لدمج الوسائط في طبقات متعددة. مقارنةً بالانتباه الذاتي الزوجي التقليدي، يُجبر نموذجنا المعلومات بين الوسائط المختلفة على المرور عبر عدد محدود من المكونات المُكثفة (bottleneck latents)، مما يُجبر النموذج على تجميع وتجميع المعلومات الأكثر صلة من كل وسيلة، ومشاركة ما هو ضروري فحسب. وجدنا أن هذه الاستراتيجية تُحسّن أداء الدمج في الوقت نفسه، وتقلل من التكلفة الحسابية. أجرينا دراسات تحليلية مفصلة، وحققنا نتائج متقدمة على مستوى العالم في عدة معايير تصنيف صوتي-بصري، منها Audioset وEpic-Kitchens وVGGSound. سيتم إصدار جميع الشيفرات والنموذج بشكل مفتوح.