التركيب المستقبلي للفيديو باستخدام تنبؤ حركة الكائنات

نقدم نهجًا لتنبؤ الإطارات الفيديوية المستقبلية بناءً على سلسلة من الإطارات الفيديوية المستمرة في الماضي. بدلاً من إنشاء الصور مباشرة، تم تصميم نهجنا لفهم الديناميكيات المعقدة للمشهد عن طريق فصل مشهد الخلفية والأشياء المتحركة. يتم تنبؤ مظهر مكونات المشهد في المستقبل من خلال تشوه غير صلب للخلفية وتحويل آفيني للأجسام المتحركة. يتم دمج المظاهر المتوقعة لإنشاء فيديو معقول في المستقبل. باستخدام هذا الإجراء، يظهر نهجنا أخطاء تمزيق أو تشويه أقل بكثير مقارنة بالنهج الأخرى. تُظهر النتائج التجريبية على مجموعتي بيانات Cityscapes و KITTI أن نموذجنا يتفوق على أفضل التقنيات الحالية من حيث الجودة البصرية والدقة.