التركيب الفيديوي إلى الفيديو

ندرس مشكلة التحويل من الفيديو إلى الفيديو، والتي تهدف إلى تعلم دالة تحويل من فيديو مصدر مدخل (مثل، سلسلة من أقنعة التقسيم الدلالي) إلى فيديو مخرج ذو جودة تصويرية عالية يصور بدقة محتوى الفيديو المصدر. بينما تعتبر مشكلة التحويل من الصورة إلى الصورة موضوعًا شائعًا، فإن مشكلة التحويل من الفيديو إلى الفيديو تم استكشافها بشكل أقل في الأدبيات العلمية. بدون فهم الديناميكيات الزمنية، غالبًا ما يؤدي تطبيق نهج التحويل الصوري القائمة مباشرة على فيديو المدخل إلى إنتاج مقاطع فيديو ذات جودة بصرية منخفضة وانسياق زمني غير متماسك. في هذا البحث، نقترح نهجًا جديدًا للتحويل من الفيديو إلى الفيديو تحت إطار التعلم الخصمي الجامعي (Generative Adversarial Learning). من خلال هندسة المولد والمميز المصممين بعناية، مع هدف خصم زماني-مكاني، نحقق نتائج فيديو عالية الدقة وذات جودة تصويرية عالية وانسياق زمني متماسك على مجموعة متنوعة من تنسيقات المدخل بما فيها أقنعة التقسيم والرسومات الأولية والأوضاع. تظهر التجارب على عدة مقاييس أن طريقتنا تتفوق على النماذج الأساسية القوية. بشكل خاص، يمكن لنموذجنا إنتاج مقاطع فيديو بدقة 2K للمشاهد الشارعية يصل طولها إلى 30 ثانية، مما يمثل تقدمًا كبيرًا في مجال اصطناع الفيديو. أخيرًا، نطبق نظرتنا على توقع الفيديوهات المستقبلية، حيث نتفوق على عدة أنظمة تنافسية رائدة في المجال.请注意，对于一些特定的术语，例如“Generative Adversarial Learning”，我在翻译中保留了英文，并在首次出现时以括号形式附上了阿拉伯语注释（التعلم الخصمي الجامعي），以便读者更好地理解。如果需要进一步的帮助或有其他术语需要特别处理，请告知我。