HyperAIHyperAI
منذ 17 أيام

DSANet: شبكة تجميع الأقسام الديناميكية لتعلم تمثيل على مستوى الفيديو

Wenhao Wu, Yuxiang Zhao, Yanwu Xu, Xiao Tan, Dongliang He, Zhikang Zou, Jin Ye, Yingying Li, Mingde Yao, Zichao Dong, Yifeng Shi
DSANet: شبكة تجميع الأقسام الديناميكية لتعلم تمثيل على مستوى الفيديو
الملخص

النمذجة الزمنية على المدى الطويل والقصير تمثل جوانب مكملة وحاسمة في التعرف على الفيديو. يركّز معظم النماذج الحديثة على النمذجة الفضائية-الزمنية على المدى القصير، ثم يُجرى متوسط التنبؤات على مستوى القطع (snippets) لتقديم التنبؤ النهائي على مستوى الفيديو. وبذلك، لا يأخذ التنبؤ النهائي على مستوى الفيديو بعين الاعتبار الخصائص الفضائية-الزمنية التي تعكس كيفية تطور الفيديو على طول البُعد الزمني. في هذه الورقة، نقدّم وحدة جديدة تُسمى "تجميع الأجزاء الديناميكية" (Dynamic Segment Aggregation - DSA) لالتقاط العلاقات بين القطع. وبشكل أكثر تحديدًا، نسعى إلى إنشاء نواة ديناميكية لعملية تصفية تلافيفية (convolutional operation) لجمع المعلومات الزمنية على المدى الطويل بين القطع المجاورة بشكل تكيفي. تمثل وحدة DSA وحدة فعّالة يمكن تركيبها بسهولة (plug-and-play)، ويمكن دمجها مع النماذج الجاهزة القائمة على القطع (مثل TSM، I3D) لتنفيذ نمذجة قوية على المدى الطويل مع تكلفة إضافية ضئيلة. وتم تسمية البنية النهائية للفيديو باسم DSANet. أجرينا تجارب واسعة على عدة معايير للتمييز في الفيديو (مثل Mini-Kinetics-200، Kinetics-400، Something-Something V1، وActivityNet) لإظهار تفوقها. أظهرت النتائج أن وحدة DSA تُحدث فرقًا كبيرًا في أداء مختلف نماذج التعرف على الفيديو. على سبيل المثال، عند تزويدها بوحدة DSA، ارتفع دقة التصنيف على مستوى 1 (top-1 accuracy) لنموذج I3D مع معمّق ResNet-50 من 74.9% إلى 78.2% على معيار Kinetics-400. يمكن الوصول إلى الكود المصدر عبر الرابط: https://github.com/whwu95/DSANet.