التعلم لتحقيق تحسين دقة الفيديو من خلال تقدير التدفق البصري عالي الدقة

يهدف تحسين دقة الفيديو (SR) إلى إنتاج سلسلة من الإطارات ذات الدقة العالية (HR) مع تفاصيل ممكنة وثابتة زمنياً من نظيراتها ذات الدقة المنخفضة (LR). يلعب إنشاء التوافق الدقيق دوراً هاماً في تحسين دقة الفيديو. أظهرت الطرق التقليدية لتحسين دقة الفيديو أن تحسين الدقة المتزامن لكل من الصور والتدفقات البصرية يمكن أن يوفر توافقاً دقيقاً ونتائج أفضل لتحسين الدقة. ومع ذلك، يتم استخدام التدفقات البصرية ذات الدقة المنخفضة في الطرق الحالية القائمة على التعلم العميق لإنشاء التوافق. في هذا البحث، نقترح إطار عمل قابل للتدريب من النهاية إلى النهاية لتحسين دقة الفيديو لزيادة دقة كل من الصور والتدفقات البصرية. تحديداً، نقترح أولاً شبكة إعادة بناء التدفق البصري (OFRnet) لإستنتاج التدفقات البصرية عالية الدقة بطريقة تدرجية من الخشن إلى الدقيق. ثم، يتم تعويض الحركة وفقاً للتدفقات البصرية عالية الدقة. وأخيراً، يتم تقديم المدخلات المعوضة ذات الدقة المنخفضة إلى شبكة تحسين الدقة (SRnet) لإنتاج نتائج تحسين الدقة. تثبت التجارب الواسعة أن التدفقات البصرية عالية الدقة توفر توافقاً أكثر دقة مقارنة بنظيراتها ذات الدقة المنخفضة وتحسن كلاً من الأداء بدقة والتوافق الزمني. تظهر النتائج المقارنة على مجموعات البيانات Vid4 و DAVIS-10 أن إطار عملنا يحقق أداءً رائدًا في المجال (state-of-the-art).