تتضمن العديد من مهام الفيديو والنص في العالم الحقيقي مستويات مختلفة من الدقة، مثل الإطارات والكلمات، أو المقاطع والجمل، أو الفيديوهات والفقرات، وكل منها يحمل دلالات مختلفة. في هذه الورقة البحثية، نقترح نموذج "Transformer التكافلي الهرمي" (COOT) للاستفادة من هذه المعلومات الهرمية ونمذجة التفاعلات بين المستويات المختلفة من الدقة والوسائط المختلفة. يتكوّن هذا النهج من ثلاث مكونات رئيسية: طبقة تجميع الميزات المستندة إلى الانتباه، التي تستفيد من السياق الزمني المحلي (الداخلي للمستوى، مثال: ضمن مقطع)، ومحول سياقي لتعلم التفاعلات بين الدلالات المنخفضة المستوى والمستوى العالي (التفاعل بين المستويات، مثال: مقطع-فيديو، جملة-فقرة)، بالإضافة إلى خسارة ترابط دوري بين الوسائط لربط الفيديو بالنص. ويُظهر النموذج الناتج أداءً متميزًا مقارنة بأفضل النماذج الحالية على عدة معايير، مع عدد قليل جدًا من المعاملات. وجميع الشيفرات متوفرة مفتوحة المصدر على الرابط التالي: https://github.com/gingsi/coot-videotext