HyperAIHyperAI

Command Palette

Search for a command to run...

DSANet: شبكة تجميع الأقسام الديناميكية لتعلم تمثيل على مستوى الفيديو

الملخص

النمذجة الزمنية على المدى الطويل والقصير تمثل جوانب مكملة وحاسمة في التعرف على الفيديو. يركّز معظم النماذج الحديثة على النمذجة الفضائية-الزمنية على المدى القصير، ثم يُجرى متوسط التنبؤات على مستوى القطع (snippets) لتقديم التنبؤ النهائي على مستوى الفيديو. وبذلك، لا يأخذ التنبؤ النهائي على مستوى الفيديو بعين الاعتبار الخصائص الفضائية-الزمنية التي تعكس كيفية تطور الفيديو على طول البُعد الزمني. في هذه الورقة، نقدّم وحدة جديدة تُسمى "تجميع الأجزاء الديناميكية" (Dynamic Segment Aggregation - DSA) لالتقاط العلاقات بين القطع. وبشكل أكثر تحديدًا، نسعى إلى إنشاء نواة ديناميكية لعملية تصفية تلافيفية (convolutional operation) لجمع المعلومات الزمنية على المدى الطويل بين القطع المجاورة بشكل تكيفي. تمثل وحدة DSA وحدة فعّالة يمكن تركيبها بسهولة (plug-and-play)، ويمكن دمجها مع النماذج الجاهزة القائمة على القطع (مثل TSM، I3D) لتنفيذ نمذجة قوية على المدى الطويل مع تكلفة إضافية ضئيلة. وتم تسمية البنية النهائية للفيديو باسم DSANet. أجرينا تجارب واسعة على عدة معايير للتمييز في الفيديو (مثل Mini-Kinetics-200، Kinetics-400، Something-Something V1، وActivityNet) لإظهار تفوقها. أظهرت النتائج أن وحدة DSA تُحدث فرقًا كبيرًا في أداء مختلف نماذج التعرف على الفيديو. على سبيل المثال، عند تزويدها بوحدة DSA، ارتفع دقة التصنيف على مستوى 1 (top-1 accuracy) لنموذج I3D مع معمّق ResNet-50 من 74.9% إلى 78.2% على معيار Kinetics-400. يمكن الوصول إلى الكود المصدر عبر الرابط: https://github.com/whwu95/DSANet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp