نحو تركيب فيديو سلس

توليد الفيديو يتطلب دمج الإطارات المتسقة والثابتة مع محتوى ديناميكي عبر الزمن. يهدف هذا البحث إلى دراسة نمذجة العلاقات الزمنية لتكوين فيديو بطول عشوائي، من بضعة إطارات وحتى اللانهائي، باستخدام شبكات التوليد المعادية (GANs). أولاً، فيما يتعلق بتكوين الإطارات المجاورة، نوضح أن عملية الخالية من التداخل للصورة الواحدة، بالإضافة إلى المعرفة المسبقة الكافية، تجلب انتقالًا سلسًا بين الإطارات دون المساس بجودة الإطار الفردي. ثانياً، من خلال دمج وحدة تحويل الزمن (TSM)، المصممة في الأصل لفهم الفيديو، في المميز (discriminator)، نتمكن من تحسين الجenerator في دمج الديناميكية الأكثر استقرارًا. ثالثاً، نطور تمثيل حركة جديد يستند إلى B-Spline لضمان السلسية الزمنية لتحقيق توليد الفيديو اللانهائي الطول. يمكن لهذا التمثيل أن يتجاوز عدد الإطارات المستخدم في التدريب. كما تم اقتراح تعديل زمني ذو رتبة منخفضة لتخفيف تكرار المحتوى عند توليد مقاطع الفيديو الطويلة. نقيم نهجنا على مجموعة متنوعة من البيانات ونظهر تحسينات كبيرة على أساسيات توليد الفيديو. سيتم توفير الرمز والموديلات بشكل عام على الرابط https://genforce.github.io/StyleSV.