أظهر التدريب المسبق على الفيديو واللغة تحسينات واعدة في مهام متعددة تالية. تعتمد معظم الطرق السابقة على تشفير متعدد الوسائط قائمة على مُشفّر الترانسفورمر لالتقاط التفاعلات عبر الوسائط، لكنها لا تحل بشكل كامل مشكلة عدم التوافق بين ميزات الفيديو الأحادية والنصوص. علاوة على ذلك، يتطلب تعلم التوافق الدقيق بين الرؤية واللغة عادةً استخدام مُكتشفات كائنات جاهزة لتوفير معلومات الكائنات، وهو ما يُعاني من قيود محدودية مفردات المكتشف وتكاليف الحوسبة العالية.نُقدّم إطار عمل فعّال وفعّال للتدريب المسبق على الفيديو واللغة يُسمّى "المحاذاة والتحفيز" (Align and Prompt)، والذي يُحسّن التوافق عبر الوسائط بشكل أفضل. أولاً، نُقدّم خسارة تباينية بين الفيديو والنص (VTC) لمحاذاة ميزات الفيديو والنص الأحادية على مستوى المثيل، مما يُبسّط نمذجة التفاعلات عبر الوسائط. ثم نُقترح مهمة تدريب مسبق جديدة مبنية على الصورة، تُسمّى "نمذجة الكيانات المُحَفّزة" (PEM)، والتي تهدف إلى تعلّم التوافق الدقيق بين المناطق والكيانات. لتحقيق ذلك، نُقدّم أولًا وحدة "محفّز الكيانات" (entity prompter)، والتي تُدرّب باستخدام VTC لإنتاج درجة التشابه بين مقطع فيديو ونصوص تحفيزية مُحدّدة بשמות الكيانات. وتطلب مهمة PEM من النموذج التنبؤ بتصنيفات وهمية للكيانات (أي نقاط التشابه المُعيّنة) لمقاطع فيديو مختارة عشوائيًا. يُحقّق النموذج المُدرّب نتائج رائدة في مجالات استرجاع الفيديو-النص وسؤال-إجابة الفيديو، متفوّقًا على الأداء السابق بشكل ملحوظ. يمكن الوصول إلى كودنا والنماذج المُدرّبة مسبقًا من خلال الرابط التالي: https://github.com/salesforce/ALPRO.