الحفاظ على تركيزك على الكرة: الانتباه المداري في المحولات المرئية

في المحولات الفيديو، يُعامل البُعد الزمني غالبًا بنفس الطريقة التي يُعامل بها البعدين المكانيين. ومع ذلك، في مشهد يتحرك فيه الكائنات أو الكاميرا، قد لا يكون هناك أي علاقة بين النقطة الفيزيائية المُصوّرة في موقع معين في الإطار $t$ وما يُوجد في نفس الموقع في الإطار $t+k$. ويجب نمذجة هذه التطابقات الزمنية لتمكين التعلم حول المشاهد الديناميكية. ولتحقيق ذلك، نقترح كتلة جديدة قابلة للإدخال في المحولات الفيديو — تُسمى "الانتباه إلى المسار" (trajectory attention) — التي تجمع المعلومات على طول مسارات حركية تُحدد ضمنيًا. كما نقترح طريقة جديدة للتغلب على الاعتماد التربيعي للحساب والذاكرة على حجم المدخلات، وهي مهمة جدًا في الفيديوهات عالية الدقة أو الطويلة. وعلى الرغم من أن هذه الأفكار مفيدة في مجموعة متنوعة من السياقات، نطبقها على المهمة المحددة لتحديد الأفعال في الفيديو باستخدام نموذج محول، ونحقق نتائج من الطراز الرائد على مجموعات بيانات Kinetics وSomething--Something V2 وEpic-Kitchens. يمكن الوصول إلى الكود والنموذج عبر: https://github.com/facebookresearch/Motionformer