إزالة الضوضاء من الفيديو الخام متعدد المراحل باستخدام خسارة معاكسة وقناع التدرج

في هذه الورقة، نقترح نهجًا قائماً على التعلم لتنقية مقاطع الفيديو الخام المُلتقطة في ظروف إضاءة منخفضة. ونُقترح القيام بذلك أولاً بتوحيد الإطارات المجاورة بشكل صريح مع الإطار الحالي باستخدام شبكة عصبية تلافيفية (CNN). ثم نُدمج الإطارات المسجلة باستخدام شبكة عصبية تلافيفية أخرى للحصول على الإطار المُنقّى النهائي. ولتجنب التوقيت المباشر لتوحيد الإطارات البعيدة زمنيًا، نُنفّذ عمليتي التوقيت والدمج في مراحل متعددة. وبشكل خاص، في كل مرحلة، نُطبّق عملية التنقية على ثلاث إطارات مدخلة متتالية لإنتاج إطارات مُنقّاة وسيطة، والتي تُستخدم بعدها كمدخلات للمرحلة التالية. وباستخدام هذه العملية عبر مراحل متعددة، يمكننا الاستفادة الفعّالة من معلومات الإطارات المجاورة دون الحاجة إلى توقيت مباشر للإطارات البعيدة زمنيًا. ونُدرّب نظامنا متعدد المراحل باستخدام خسارة مُضادة مع مُميّز شرطي. وبشكل خاص، نُشَرِّط المُميّز على قناع تدرج لين لمنع إدخال تشوهات عالية التردد في المناطق السلسة. ونُظهر أن نظامنا قادر على إنتاج مقاطع فيديو متماسكة زمنيًا وبتفاصيل واقعية. علاوةً على ذلك، نُظهر من خلال تجارب واسعة أن منهجنا يتفوّق على أفضل الطرق الحالية في تنقية الصور والفيديوهات من حيث الأداء العددي والمرئي.