رقص تحت النجوم: إزالة الضوضاء من الفيديو في ظلام الليل

التصوير في الإضاءة المنخفضة يُعدّ تحديًا كبيرًا بسبب قلة عدد الفوتونات. وباستخدام كاميرات CMOS الحساسة، أصبح من الممكن حاليًا التقاط مقاطع فيديو ليلاً تحت ضوء القمر (بمعدل إضاءة يتراوح بين 0.05 إلى 0.3 لوكس). في هذه الدراسة، نُظهر لأول مرة تصويرًا فيديو واقعيًا بصريًا تحت ضوء النجوم (بدون وجود قمر، بمستوى إضاءة أقل من 0.001 لوكس). ولتمكين هذا الإنجاز، طوّرنا نموذجًا فيزيائيًا للضوضاء مُعدّل باستخدام شبكة توليدية متنافسة (GAN)، بهدف تمثيل أكثر دقة لضوضاء الكاميرا في أدنى مستويات الإضاءة. باستخدام هذا النموذج، قمنا بتدريب مُنظف فيديو من خلال مزيج من مقاطع فيديو مُصوّرة بضوضاء مُحاكاة وصور ثابتة مُصوّرة بضوضاء حقيقية. وقد قمنا بجمع مجموعة بيانات فيديو بسرعة 5-10 إطارات في الثانية، تتميز بحركة ملحوظة، عند مستوى إضاءة يتراوح بين 0.6 إلى 0.7 ميلي لوكس، دون استخدام أي إضاءة نشطة. وعند المقارنة مع الطرق البديلة، نحقق جودة فيديو محسّنة في أدنى مستويات الإضاءة، مما يُظهر لأول مرة إمكانية تنقية فيديو واقعي بصريًا تحت ضوء النجوم.