كشف التحيز الإطاري الفردي لتعلم الفيديو واللغة

تدريب نموذج فيديو ولغة فعال يتطلب بديهياً استخدام عدة إطارات كمدخلات للنموذج. ومع ذلك، فإن الأمر غير واضح فيما إذا كان استخدام عدة إطارات مفيداً للمهام اللاحقة، وإذا كان كذلك، فإن الأمر غير واضح أيضاً فيما إذا كانت الزيادة في الأداء تستحق التكاليف الحاسوبية والذاكرة الباهظة الناتجة عن استخدام المزيد من الإطارات. في هذا العمل، نستكشف نماذج الإطار الواحد لتعلم الفيديو واللغة. على مجموعة متنوعة من مهام الفيديو واللغة (تشمل استرجاع الفيديو من النص وإجابة أسئلة الفيديو)، نظهر النتيجة المفاجئة أن، مع التدريب على نطاق واسع واستراتيجية تجميع الإطارات المناسبة عند الاستدلال، يمكن لنموذج تم تدريبه على إطار واحد ولا يأخذ في الاعتبار المعلومات الزمنية أن يحقق أداء أفضل من الأساليب الموجودة التي تستخدم عدة إطارات للتدريب. هذه النتيجة تكشف عن وجود تحيز قوي "للظهور الثابت" (Static Appearance Bias) في مجموعات البيانات الشائعة للفيديو واللغة. لذلك، لتمكين تقييم أكثر شمولية لنماذج الفيديو واللغة، نقترح مهمتين جديدتين للاسترجاع تعتمدان على مجموعات بيانات التعرف الدقيق على الحركات القائمة والتي تشجع على النمذجة الزمنية. رمزنا متاح على الرابط: https://github.com/jayleicn/singularity