تحسين مسار كثيف مع تدفقات عرضية

أظهرت المسارات الكثيفة المحسنة (iDT) أداءً ممتازًا في التعرف على الأفعال، وقد حققت مزيجها مع النهج ذو التيارين أداءً رائدًا في هذا المجال. ومع ذلك، يصعب على iDT إزالة المسارات الخلفية تمامًا من الفيديو عند وجود اهتزاز في الكاميرا. يجب أن تُعطى المسارات في المناطق الأقل تمييزًا وزنًا متواضعًا لخلق وصفيات محلية أكثر تمييزًا للتعرف على الأفعال. بالإضافة إلى ذلك، لا يمكن للنهج ذو التيارين، الذي يتعلم المعلومات الشكلية والمعلومات الحركية بشكل منفصل، التركيز على الحركة في المناطق الهامة عند استخراج الخصائص من طبقات التحويل الإقليمي للمشاعر في شبكة الشكل، والعكس صحيح. لحل المشكلات المذكورة أعلاه، نقترح وصفية محلية جديدة تقوم بتجميع طبقة تحويلية جديدة يتم الحصول عليها من تقاطع شبكتين عبر iDT. يتم حساب هذه الوصفية الجديدة بتطبيق وزن تميزي تم تعلمه من شبكة واحدة على طبقة تحويلية من الشبكة الأخرى. قد حققت طريقتنا أداءً رائدًا على مجموعات البيانات الخاصة بالتعرف على الأفعال العادية، حيث بلغت نسبة الدقة 92.3% على UCF101 و66.2% على HMDB51.