MAU: وحدة مُدركة للحركة للتنبؤ بالفيديو وما بعده

تلعب التنبؤ الدقيق بمعلومات الحركة بين الإطارات دورًا محوريًا في مهام توقع الفيديو. في هذه الورقة، نقترح وحدة واعية بالحركة (MAU) لاستخلاص معلومات حركة بين الإطارات الموثوقة من خلال توسيع مجال الاستقبال الزمني للوحدات التنبؤية. تتكوّن وحدة MAU من وحدتين: وحدة الانتباه ووحدة الدمج. تهدف وحدة الانتباه إلى تعلّم خريطة انتباه بناءً على الترابطات بين الحالة المكانية الحالية وال estados المكانية السابقة. وباستخدام خريطة الانتباه المُعلّمة، يتم تجميع الحالات الزمنية السابقة لتكوين معلومات حركة مُعزّزة (AMI). وبهذه الطريقة، يمكن للوحدة التنبؤية إدراك ديناميات زمنية أكثر من مجال استقبال أوسع. ثم، تُستخدم وحدة الدمج لدمج معلومات الحركة المُعزّزة (AMI) مع معلومات المظهر الحالي (الحالة المكانية الحالية) لإنتاج الإطار المتوقع النهائي. يتميز MAU بحمل حسابي منخفض نسبيًا، ويمكن تطبيق الوحدة بسهولة على نماذج تنبؤية أخرى. علاوةً على ذلك، تم تطبيق خطة استرجاع المعلومات في الوحدات المُشفّرة والمُفكّكة لمساعدتها على الحفاظ على التفاصيل البصرية في التوقعات. تم تقييم MAU على مهام توقع الفيديو وتمييز السلوك المبكر. وأظهرت النتائج التجريبية أن MAU تتفوّق على الطرق المتطورة في كلا المهمتين.