NightRain: إزالة المطر من الفيديوهات الليلية عبر تقنيات متطورة لإزالة المطر وتصحيح الصور بشكل متكيف

الطرق الحالية القائمة على التعلم العميق لإزالة الأمطار من مقاطع الفيديو الليلية تعتمد على البيانات المصنعة بسبب عدم وجود بيانات حقيقية متطابقة. ومع ذلك، فإن التعقيدات في العالم الحقيقي، خاصة مع وجود تأثيرات الإضاءة والمناطق ذات الإضاءة المنخفضة التي تتأثر بالضوضاء، تخلق فجوات مجالية كبيرة، مما يعيق نماذج التعلم المدربة على البيانات المصنعة في إزالة خطوط الأمطار بشكل صحيح ويتسبب في زيادة التشبع والتغيرات اللونية. انطلاقًا من هذا الدافع، نقدم NightRain (نيت راين)، وهو طريقة جديدة لإزالة الأمطار من مقاطع الفيديو الليلية باستخدام إزالة الأمطار التكيفية وإصلاح الأخطاء التكيفي. يستخدم إزالة الأمطار التكيفية لدينا مقاطع الفيديو غير المصنفة للأمطار لتمكين نموذجنا من إزالة الأمطار من مقاطع الفيديو الحقيقية للأمطار، خاصة في المناطق المتضررة من تأثيرات الإضاءة المعقدة. الفكرة هي السماح لنموذجنا بالحصول على المناطق الخالية من الأمطار بناءً على درجات الثقة. بمجرد الحصول على المناطق الخالية من الأمطار والمناطق المقابلة من مدخلاتنا، يمكننا الحصول على بيانات حقيقية متطابقة قائمة على المنطقة. يتم استخدام هذه البيانات المتطابقة لتدريب نموذجنا باستخدام إطار عمل معلم-طالب، مما يسمح للنموذج بتعلم تكراري من المناطق الأقل تحديًا إلى المناطق الأكثر تحديًا. يهدف إصلاح الأخطاء التكيفي لدينا إلى تصحيح الأخطاء في توقعات نموذجنا، مثل زيادة التشبع والتغيرات اللونية. الفكرة هي التعلم من مقاطع الفيديو الليلية الواضحة للمدخلات التدريبية بناءً على الاختلافات أو المسافة بين تلك مقاطع الفيديو ومتناظراتها المتوقعة. يتعلم النموذج لدينا من هذه الاختلافات، مما يدفعه إلى تصحيح الأخطاء. ومن خلال التجارب الواسعة، أثبتت طرقنا أنها ذات أداء رائد في المجال. فقد حققت نسبة تشوه الإشارة إلى الضوضاء (PSNR) قدرها 26.73 ديسيبل، متخطئة الطرق الحالية لإزالة الأمطار من مقاطع الفيديو الليلية بنسبة هامش كبيرة تبلغ 13.7%.