HyperAIHyperAI

Command Palette

Search for a command to run...

كشف التحيز الإطاري الفردي لتعلم الفيديو واللغة

Jie Lei Tamara L. Berg Mohit Bansal

الملخص

تدريب نموذج فيديو ولغة فعال يتطلب بديهياً استخدام عدة إطارات كمدخلات للنموذج. ومع ذلك، فإن الأمر غير واضح فيما إذا كان استخدام عدة إطارات مفيداً للمهام اللاحقة، وإذا كان كذلك، فإن الأمر غير واضح أيضاً فيما إذا كانت الزيادة في الأداء تستحق التكاليف الحاسوبية والذاكرة الباهظة الناتجة عن استخدام المزيد من الإطارات. في هذا العمل، نستكشف نماذج الإطار الواحد لتعلم الفيديو واللغة. على مجموعة متنوعة من مهام الفيديو واللغة (تشمل استرجاع الفيديو من النص وإجابة أسئلة الفيديو)، نظهر النتيجة المفاجئة أن، مع التدريب على نطاق واسع واستراتيجية تجميع الإطارات المناسبة عند الاستدلال، يمكن لنموذج تم تدريبه على إطار واحد ولا يأخذ في الاعتبار المعلومات الزمنية أن يحقق أداء أفضل من الأساليب الموجودة التي تستخدم عدة إطارات للتدريب. هذه النتيجة تكشف عن وجود تحيز قوي "للظهور الثابت" (Static Appearance Bias) في مجموعات البيانات الشائعة للفيديو واللغة. لذلك، لتمكين تقييم أكثر شمولية لنماذج الفيديو واللغة، نقترح مهمتين جديدتين للاسترجاع تعتمدان على مجموعات بيانات التعرف الدقيق على الحركات القائمة والتي تشجع على النمذجة الزمنية. رمزنا متاح على الرابط: https://github.com/jayleicn/singularity


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
كشف التحيز الإطاري الفردي لتعلم الفيديو واللغة | مستندات | HyperAI