التنبؤ بالفيديو باستخدام VQVAE

في السنوات الأخيرة، أصبحت مهمة تنبؤ الفيديو—أي التنبؤ بمقاطع الفيديو المستقبلية بناءً على الإطارات السابقة—مجالًا يجذب اهتمامًا متزايدًا في المجتمع البحثي. في هذه الورقة، نقترح منهجية جديدة لحل هذه المشكلة باستخدام مشغلات التشفير التلقائي المُميزة بالكمية المُتعددة (VQ-VAE). وباستخدام VQ-VAE، نقوم بضغط مقاطع الفيديو عالية الدقة إلى مجموعة هرمية من المتغيرات المخفية المتقطعة متعددة المقياس. مقارنةً بالبكسلات، فإن هذا الفضاء المُختزل المُخفِي يتميز بحجم أبعاد مُقلص بشكل كبير، مما يمكّننا من تطبيق نماذج توليدية ذاتية الارتباط قابلة للتوسع لتنبؤ الفيديو. على عكس الدراسات السابقة التي ركّزت بشكل كبير على مجموعات بيانات مُحددة للغاية، نحن نركّز على مجموعات بيانات واسعة ومتعددة التنوع مثل Kinetics-600. ونقوم بتنبؤ الفيديو بدقة أعلى (256×256) على مقاطع فيديو غير مُقيّدة، وهو ما يفوق أي منهجية سابقة معروفة لنا. ونُحقّق التحقق من فعالية منهجيتنا مقارنةً بالدراسات السابقة من خلال تقييم بشري تم جمعه عبر منصات جماعية.