OmniVec: تعلم التمثيلات القوية باستخدام المشاركة بين الأوضاع

معظم الأبحاث في الطرق القائمة على التعلم تركزت على تصميم وتدريب شبكات لمهام محددة. ومع ذلك، فإن العديد من المهام القائمة على التعلم، عبر مختلف الوسائط، تشترك في نقاط مشتركة ويمكن معالجتهاPotentially في إطار مشترك. نقدم نهجًا في هذا الاتجاه لتعلم عدة مهام في وسائط متعددة باستخدام هندسة موحدة. تتكون الشبكة المقترحة من مُشفِّرات خاصة بالمهام، وجذع مشترك في الوسط، يليه رؤوس تنبؤية خاصة بالمهام. نقوم أولاً بتدريبها بشكل ذاتي ومُخَفَّى (self-supervised masked training)، ثم بتدريب تتابعي للمهام المختلفة. ندرب الشبكة على جميع الوسائط الرئيسية مثل البصرية والصوتية والنصية والثلاثية الأبعاد (3D)، ونقدم النتائج على 22 مقاييس عامّة ومتنوعة وتحديّة. نثبت عمليًا أن استخدام شبكة مشتركة لتدريب المهام عبر الوسائط يؤدي إلى تقاسم المعلومات بطريقة ذات معنى، مما يتيح لنا تحقيق أفضل النتائج في معظم المقاييس. كما نظهر قدرة الشبكة المدربة على التعميم في المهام العابرة للوسائط وكذلك في مجموعات بيانات ومهام غير مرئية سابقًا.