إبطال التشويش في الفيديو في العالم الحقيقي: مجموعة بيانات معيارية وشبكة عصبية دورية فعالة

لا يزال إزالة الضبابية من مقاطع الفيديو الواقعية في الزمن الفعلي مهمةً صعبة بسبب تعقيد الضبابية المتغيرة مكانيًا وزمانيًا، بالإضافة إلى الحاجة إلى تكلفة حسابية منخفضة. ولتحسين كفاءة الشبكة العصبية، نستخدم كتل الكثافة المتبقية (residual dense blocks) داخل خلايا RNN، بهدف استخراج الخصائص المكانية للإطار الحالي بشكل فعّال. علاوةً على ذلك، نقترح وحدة انتباه فضائي-زماني عالمية لدمج الخصائص الهرمية الفعّالة من الإطارات السابقة والمستقبلية، مما يساعد على تحسين عملية إزالة الضبابية للإطار الحالي. كما أن هناك قضية أخرى تحتاج إلى معالجة عاجلة، وهي نقص وجود مجموعة بيانات معيارية واقعية. ولذلك، نقدّم إلى المجتمع مجموعة بيانات جديدة (BSD)، من خلال جمع مقاطع فيديو زجاجية/واضحة مزدوجة باستخدام نظام اكتساب يعتمد على مقسم شعاعي متماسك. تُظهر النتائج التجريبية أن الطريقة المقترحة (ESTRNN) تحقق أداءً أفضل في إزالة الضبابية من حيث الجوانب الكمية والنوعية، مع تكلفة حسابية أقل مقارنةً بالطرق الرائدة في مجال إزالة ضبابية الفيديو. بالإضافة إلى ذلك، تُظهر تجارب التحقق المتقاطع بين المجموعات بيانات التعميم العالي لـ BSD مقارنةً بالبيانات المُصَنَّعة. تم إصدار الشفرة والبيانات على الرابط: https://github.com/zzh-tech/ESTRNN.