رفع مستوى ملء الفيديو الموجه بالتدفق باستخدام توليد المرجع

إعادة رسم الفيديو (VI) هي مهمة صعبة تتطلب نشر المحتوى القابل للملاحظة عبر الإطارات مع إنشاء محتوى جديد غير موجود في الفيديو الأصلي بشكل متزامن. في هذه الدراسة، نقترح إطارًا قويًا وعمليًا لإعادة رسم الفيديو يستفيد من نموذج توليدي كبير لإنشاء المرجعات بالاشتراك مع خوارزمية متقدمة لنشر البكسل. بفضل نموذج توليدي قوي، يعزز طريقة عملنا جودة الإطار على مستوى الإطارات بشكل كبير عند إزالة الكائنات، كما يقوم بإنشاء محتوى جديد في المناطق المفقودة بناءً على تعليمات النص التي يوفرها المستخدم. بالنسبة لنشر البكسل، نقدم طريقة سحب بكسل واحدة (one-shot pixel pulling) تتجنب تراكم الأخطاء الناجم عن التكرار العشوائي بينما تحتفظ بدقة فرعية للبكسل. لتقييم مختلف طرق إعادة رسم الفيديو في سيناريوهات واقعية، نقترح أيضًا معيارًا عالي الجودة لإعادة رسم الفيديو، HQVI، يتكون من مقاطع فيديو تم إنتاجها بعناية باستخدام تركيب alpha matte. على المقاييس العامة ومجموعة بيانات HQVI، تظهر طريقة عملنا جودة بصرية وأداء مقاييس أعلى بكثير مقارنة بالحلول الموجودة حاليًا. بالإضافة إلى ذلك، يمكنها معالجة مقاطع الفيديو ذات الدقة العالية التي تتجاوز دقة 2K بسهولة، مما يؤكد تفوقها في التطبيقات الواقعية.