شبكة عصبية متعددة الطبقات عميقة ذات انتشار ثنائي الاتجاه متعدد المقياس لتطهير الفيديو

إن نجاح الطرق الحديثة لاسترجاع الفيديو من التوهين يعود في المقام الأول إلى تقدير ضمني أو صريح لمحاذاة الإطارات المجاورة لاستعادة الفيديو الخفي. ومع ذلك، نظرًا لتأثير التوهين، فإن تقدير معلومات المحاذاة من الإطارات المشوشة المجاورة ليس مهمة سهلة. وسوف تؤدي التقديرات غير الدقيقة إلى إرباك عملية استرجاع الإطارات اللاحقة. بدلًا من تقدير معلومات المحاذاة، نقترح شبكة عصبية متكررة عميقة بسيطة وفعالة تُدعى RNN-MBP (شبكة عصبية متكررة ذات انتشار ثنائي الاتجاه متعدد المقاييس)، والتي تُستخدم بشكل فعّال في نقل وجمع المعلومات من الإطارات المجاورة غير المُحاذاة لتحسين استرجاع الفيديو من التوهين. وبشكل محدد، نُنشئ وحدة انتشار ثنائي الاتجاه متعدد المقاييس (MBP) مكوّنة من خليتين U-Net من نوع RNN، والتي يمكنها استغلال المعلومات بين الإطارات من حالات مخفية غير مُحاذاة مباشرةً من خلال دمجها على مقاييس مختلفة. علاوةً على ذلك، لتحسين تقييم الخوارزمية المقترحة والطرق الحالية المتميزة على المشاهد الفعلية المشوشة، قمنا أيضًا بإنشاء مجموعة بيانات فيديو مشوشة واقعية (RBVD) باستخدام نظام مُصمم جيدًا لاستحواذ الفيديو الرقمي (DVAS)، واستخدمنا هذه المجموعة كمجموعة تدريب وتقييم. أظهرت النتائج التجريبية الواسعة أن مجموعة RBVD المُقترحة تُحسّن بشكل فعّال أداء الطرق الحالية على الفيديوهات المشوشة الواقعية، كما تُظهر الخوارزمية المقترحة أداءً مُرضيًا مقارنةً بالطرق المتميزة في ثلاث معايير نموذجية. يمكن الوصول إلى الكود من خلال الرابط التالي: https://github.com/XJTU-CVLAB-LOWLEVEL/RNN-MBP.