استرجاع دقة الفيديو العميق باستخدام تقدير التدفق البصري عالي الدقة

تهدف إعادة تشكيل الفيديو (SR) إلى إنتاج تسلسل من الإطارات عالية الدقة (HR) ذات تفاصيل متميزة ومتزامنة زمنيًا من إطارات منخفضة الدقة (LR) المقابلة لها. وتكمن التحدي الرئيسي في إعادة تشكيل الفيديو في الاستغلال الفعّال للارتباط الزمني بين الإطارات المتتالية. تُستخدم الطرق القائمة على التعلم العميق بشكل شائع لتقدير التدفقات البصرية بين الإطارات المنخفضة الدقة لتوفير الارتباط الزمني. ومع ذلك، فإن تضارب الدقة بين التدفقات البصرية المنخفضة الدقة والنتائج عالية الدقة يعيق استعادة التفاصيل الدقيقة. في هذا البحث، نقترح شبكة إعادة تشكيل فيديو نهائية (end-to-end) لتحسين دقة كل من التدفقات البصرية والصور. إذ توفر إعادة تشكيل التدفقات البصرية من الإطارات منخفضة الدقة ارتباطًا زمنيًا دقيقًا، مما يحسن أداء إعادة تشكيل الفيديو في النهاية. بشكل محدد، نقدم أولًا شبكة إعادة بناء التدفق البصري (OFRnet) لاستخلاص التدفقات البصرية عالية الدقة بطريقة تدريجية من العام إلى الخاص. ثم يتم إجراء تصحيح الحركة باستخدام التدفقات البصرية عالية الدقة لترميز الارتباط الزمني. وأخيرًا، تُقدَّم الإدخالات المنخفضة الدقة المصححة إلى شبكة إعادة التشكيل (SRnet) لإنتاج النتائج المحسّنة. تم إجراء تجارب واسعة النطاق لتوضيح فعالية التدفقات البصرية عالية الدقة في تحسين أداء إعادة التشكيل. وتشير النتائج المقارنة على مجموعتي بيانات Vid4 وDAVIS-10 إلى أن شبكتنا تحقق أداءً متقدمًا على مستوى الحالة الحالية (state-of-the-art).