نمذجة ضجيج المستشعر المعتمدة على الفيزياء وذات الاعتماد على ISO لتصوير ضوئي شديد الضعف

رغم تحقيق الشبكات العصبية العميقة أداءً مذهلاً في العديد من مهام الرؤية الحاسوبية، فإن الطرق القائمة على التعلم الحالية تظل متراجعة بشكل كبير أمام الحلول القائمة على النماذج الفيزيائية في نمذجة ضوضاء مستشعرات الإضاءة المنخفضة للغاية. ولاستغلال الإمكانات الكامنة في نمذجة ضوضاء المستشعرات القائمة على التعلم، نستكشف تكوّن الضوضاء في عملية تصوير نموذجية ونقترح منهجًا جديدًا لنمذجة ضوضاء المستشعر يعتمد على النماذج الفيزيائية ويعتمد على قيمة ISO. وبشكل خاص، نبني إطارًا يستند إلى تدفقات التطبيع (Normalizing Flow) لتمثيل الخصائص المعقدة للضوضاء في مستشعرات كاميرات CMOS. ويُخصص كل مكوّن من مكونات نموذج الضوضاء لتمثيل نوع معين من الضوضاء، وذلك تحت إشراف النماذج الفيزيائية. علاوةً على ذلك، نأخذ بعين الاعتبار الاعتماد على قيمة ISO في النموذج، وهو ما لم تُؤخذ بعين الاعتبار بشكل كامل في الطرق القائمة على التعلم الحالية. ولتدريب النموذج المقترح، جُمعت مجموعة بيانات جديدة تحتوي على صور ملوثة وصورة نظيفة مزدوجة، بالإضافة إلى إطارات التسطيح (Flat-field) وإطارات التحيّز (Bias) التي تغطي طيفًا واسعًا من قيم ISO. مقارنةً بالطرق الحالية، يمتلك النموذج المقترح مزايا تكمن في هيكله المرن وقدرته العالية على النمذجة الدقيقة، مما يمكنه من تحقيق أداء أفضل في إزالة الضوضاء في المشاهد ذات الإضاءة المنخفضة جدًا. وسيتم إتاحة الشفرة المصدرية للمشروع والبيانات التي تم جمعها للجمهور بشكل علني.