إنشاء مقاطع فيديو ذات ديناميكيات المشهد

نستغل كميات كبيرة من الفيديوهات غير المصنفة بهدف تعلم نموذج للديناميكيات المشهدية لمهام التعرف على الفيديو (مثل تصنيف الأفعال) ومهام إنشاء الفيديو (مثل التنبؤ بالمستقبل). نقترح شبكة مُنافسة توليدية للفيديو ذات بنية ت💬 convoيوليشنية زمانية-مكانية تفصل بين المقدمة والخلفية للمشهد. تشير التجارب إلى أن هذا النموذج يمكنه إنشاء مقاطع فيديو صغيرة مدتها ثانية كاملة بمعدل الإطارات الكامل أفضل من الخطوط الأساسية البسيطة، ونوضح فائدته في التنبؤ بسيناريوهات مستقبلية محتملة للصور الثابتة. علاوة على ذلك، تظهر التجارب والتصورات أن النموذج يتعلم داخليًا خصائص مفيدة للتعرف على الأفعال بأقل قدر من الرقابة، مما يشير إلى أن الديناميكيات المشهدية هي إشارة واعدة لتعلم التمثيل. نعتقد أن نماذج الفيديو التوليدية يمكن أن تؤثر في العديد من التطبيقات المتعلقة بفهم الفيديو والمحاكاة.