الانتباه بين الإطارات المستقل في نماذج الفيديو

الحركة، باعتبارها عنصراً مميزاً للفيديو، كانت حاسمة في تطور نماذج فهم الفيديو. تعتمد النماذج العميقة الحديثة على الحركة من خلال إجراء عمليات تربيعية ثلاثية الأبعاد في الفضاء والزمن، أو من خلال تفكيك التربيعات الثلاثية الأبعاد إلى عمليات فضائية وزمنية منفصلة، أو من خلال حساب الانتباه الذاتي على طول البعد الزمني. والافتراض الضمني وراء هذه النجاحات هو أن خرائط الميزات عبر الإطارات المتتالية يمكن دمجها بشكل جيد. ومع ذلك، قد لا يُطبَّق هذا الافتراض دوماً، خصوصاً في المناطق التي تشهد تشوهات كبيرة. في هذه الورقة، نقدّم وصفاً جديداً لوحدة الانتباه بين الإطارات، تُسمى "الانتباه بين الإطارات المستقل (SIFA)"، التي تُعمّق بشكل مبتكر دراسة التشوهات بين الإطارات لتقدير الانتباه الذاتي المحلي عند كل موقع فضائي. من الناحية التقنية، تعيد SIFA إعادة تصميم التصميم القابل للتشويه من خلال إعادة تعيين تنبؤات الانزياح باستخدام الفرق بين إطارين. باعتبار كل موقع فضائي في الإطار الحالي كسؤال، تُعتبر الجيران القابلين للتشويه محلياً في الإطار التالي كعناصر "مفاتيح/قيم". ثم تقيس SIFA تشابه السؤال مع العناصر المفاتيح كانتباه مستقل لحساب المتوسط المرجح للقيم بهدف التجميع الزمني. كما قمنا بتضمين وحدة SIFA في نماذج ConvNets و Vision Transformer على التوالي، لتطوير نموذجي SIFA-Net و SIFA-Transformer. أظهرت التجارب الواسعة على أربع مجموعات بيانات فيديو تفوق SIFA-Net و SIFA-Transformer كأساسيات أقوى. وبشكل لافت، حقق SIFA-Transformer دقة بلغت 83.1% على مجموعة بيانات Kinetics-400. يتوفر الكود المصدري على الرابط: \url{https://github.com/FuchenUSTC/SIFA}.