HyperAIHyperAI

Command Palette

Search for a command to run...

الحفاظ على تركيزك على الكرة: الانتباه المداري في المحولات المرئية

Mandela Patrick Dylan Campbell Yuki M. Asano Ishan Misra Florian Metze Christoph Feichtenhofer Andrea Vedaldi João F. Henriques

الملخص

في المحولات الفيديو، يُعامل البُعد الزمني غالبًا بنفس الطريقة التي يُعامل بها البعدين المكانيين. ومع ذلك، في مشهد يتحرك فيه الكائنات أو الكاميرا، قد لا يكون هناك أي علاقة بين النقطة الفيزيائية المُصوّرة في موقع معين في الإطار ttt وما يُوجد في نفس الموقع في الإطار t+kt+kt+k. ويجب نمذجة هذه التطابقات الزمنية لتمكين التعلم حول المشاهد الديناميكية. ولتحقيق ذلك، نقترح كتلة جديدة قابلة للإدخال في المحولات الفيديو — تُسمى "الانتباه إلى المسار" (trajectory attention) — التي تجمع المعلومات على طول مسارات حركية تُحدد ضمنيًا. كما نقترح طريقة جديدة للتغلب على الاعتماد التربيعي للحساب والذاكرة على حجم المدخلات، وهي مهمة جدًا في الفيديوهات عالية الدقة أو الطويلة. وعلى الرغم من أن هذه الأفكار مفيدة في مجموعة متنوعة من السياقات، نطبقها على المهمة المحددة لتحديد الأفعال في الفيديو باستخدام نموذج محول، ونحقق نتائج من الطراز الرائد على مجموعات بيانات Kinetics وSomething--Something V2 وEpic-Kitchens. يمكن الوصول إلى الكود والنموذج عبر: https://github.com/facebookresearch/Motionformer


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp