نقدم إطارًا ذاتي التدريب يُعرف بـ CrissCross، وهو مخصص لتعلم تمثيلات الصوت والصورة. في هذا الإطار، نقدم مفهومًا جديدًا يتمثل في تعلم العلاقات العابرة للنمط بشكل "غير متزامن" بالإضافة إلى العلاقات داخل النمط والعلاقات العابرة للنمط المعتادة "المتزامنة". قمنا بدراسات شاملة تظهر أن بإمكان الشبكة تعلم تمثيلات معممة قوية تكون مفيدة لمجموعة متنوعة من المهام اللاحقة من خلال تخفيف التزامن الزمني بين النمطين الصوتي والبصري. لتدريب حلنا المقترح بشكل أولي، استخدمنا ثلاثة مجموعات بيانات مختلفة الحجم وهي Kinetics-Sound و Kinetics400 و AudioSet. تم تقييم التمثيلات المُتعلَّمة على عدد من المهام اللاحقة مثل تصنيف الأفعال وتصنيف الأصوات واسترجاع الأفعال. أظهرت تجاربنا أن CrissCross إما يتفوق أو يصل إلى أداء مشابه لأحدث طرق التدريب الذاتي في مجال تصنيف الأفعال واسترجاع الأفعال باستخدام UCF101 و HMDB51، وكذلك في تصنيف الأصوات باستخدام ESC50 و DCASE. علاوة على ذلك، يتفوق CrissCross على التدريب الكامل الأولي عند استخدام Kinetics-Sound للتدريب الأولي. يمكن الحصول على الكود والموديلات المدربة بشكل أولي من موقع المشروع.