التعلم المتبادل للسُّمات في تصنيف أفعال الفيديو

تتقدم عملية بناء النماذج لتصنيف الحركات في الفيديو بسرعة كبيرة. ومع ذلك، لا يزال بالإمكان تحسين أداء هذه النماذج بشكل سهل من خلال تجميعها مع نماذج مماثلة تم تدريبها على وسائط مختلفة (مثل التدفق البصري). ورغم ذلك، فإن استخدام عدة وسائط أثناء الاستدلال يُعد مكلفًا من حيث الحوسبة. وقد استعرضت الدراسات الحديثة طرقًا لدمج المزايا المتعددة للوسائط في نموذج واحد يعتمد فقط على الصور الملونة (RGB). ومع ذلك، لا يزال هناك مجال للتحسين. في هذه الورقة، نستكشف طرقًا مختلفة لدمج قوة التجميع داخل نموذج واحد. ونُظهر أن التهيئة المناسبة، إلى جانب التعلم المتبادل بين الوسائط، يُعززان أداء النماذج ذات الوسيط الواحد. وبذلك، نحقق نتائج متقدمة على مستوى التقنيات الحالية في معيار Something-Something-v2.