الوضعية تعرف: التنبؤ بالفيديو من خلال إنشاء مستقبلات الوضعيات

النهج الحالية في توقع الفيديو تحاول إنشاء مقاطع الفيديو مباشرة في فضاء البكسل باستخدام شبكات التوليد المتنافسة (GANs) أو المُشغّلات التلقائية المتغيرة (VAEs). ومع ذلك، نظرًا لمحاولات هذه النهج نمذجة جميع الهياكل وديناميكيات المشهد دفعة واحدة، فإنها غالبًا ما تنتج نتائج غير قابلة للتفسير في البيئات غير المقيدة. رؤيتنا هي نمذجة مشكلة التوقع على مستوى أعلى من التجريد. بتحديد، نستغل كاشفات الوضع البشري كمصدر مجاني للإشراف ونقسم مشكلة توقع الفيديو إلى خطوتين منفصلتين. أولاً، نقوم بنمذجة الهيكل العالي للأشياء النشطة في المشهد - البشر - واستخدام VAE لنمذجة الحركات المستقبلية المحتملة للبشر في فضاء الوضع. ثم نستخدم الأوضاع المستقبلية التي تم إنشاؤها كمعلومات شرطية لـ GAN لتوقع الإطارات المستقبلية للفيديو في فضاء البكسل. من خلال استخدام فضاء الوضع المنظم كتمثيل متوسط، نتجنب المشكلات التي تعاني منها GANs عند إنشاء بكسلات الفيديو مباشرة. نظهر من خلال التقييم الكمي والنوعي أن طريقتنا تتفوق على أفضل الأساليب الحالية لتوقع الفيديو.