HyperAIHyperAI

Command Palette

Search for a command to run...

الانتباه بين الإطارات المستقل في نماذج الفيديو

Fuchen Long Zhaofan Qiu Yingwei Pan Ting Yao Jiebo Luo Tao Mei

الملخص

الحركة، باعتبارها عنصراً مميزاً للفيديو، كانت حاسمة في تطور نماذج فهم الفيديو. تعتمد النماذج العميقة الحديثة على الحركة من خلال إجراء عمليات تربيعية ثلاثية الأبعاد في الفضاء والزمن، أو من خلال تفكيك التربيعات الثلاثية الأبعاد إلى عمليات فضائية وزمنية منفصلة، أو من خلال حساب الانتباه الذاتي على طول البعد الزمني. والافتراض الضمني وراء هذه النجاحات هو أن خرائط الميزات عبر الإطارات المتتالية يمكن دمجها بشكل جيد. ومع ذلك، قد لا يُطبَّق هذا الافتراض دوماً، خصوصاً في المناطق التي تشهد تشوهات كبيرة. في هذه الورقة، نقدّم وصفاً جديداً لوحدة الانتباه بين الإطارات، تُسمى "الانتباه بين الإطارات المستقل (SIFA)"، التي تُعمّق بشكل مبتكر دراسة التشوهات بين الإطارات لتقدير الانتباه الذاتي المحلي عند كل موقع فضائي. من الناحية التقنية، تعيد SIFA إعادة تصميم التصميم القابل للتشويه من خلال إعادة تعيين تنبؤات الانزياح باستخدام الفرق بين إطارين. باعتبار كل موقع فضائي في الإطار الحالي كسؤال، تُعتبر الجيران القابلين للتشويه محلياً في الإطار التالي كعناصر "مفاتيح/قيم". ثم تقيس SIFA تشابه السؤال مع العناصر المفاتيح كانتباه مستقل لحساب المتوسط المرجح للقيم بهدف التجميع الزمني. كما قمنا بتضمين وحدة SIFA في نماذج ConvNets و Vision Transformer على التوالي، لتطوير نموذجي SIFA-Net و SIFA-Transformer. أظهرت التجارب الواسعة على أربع مجموعات بيانات فيديو تفوق SIFA-Net و SIFA-Transformer كأساسيات أقوى. وبشكل لافت، حقق SIFA-Transformer دقة بلغت 83.1% على مجموعة بيانات Kinetics-400. يتوفر الكود المصدري على الرابط: \url{https://github.com/FuchenUSTC/SIFA}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp