إعادة تعريض الصور العصبية

تُؤثر استراتيجية الستارة (الشاتر) المطبقة في عملية التقاط الصور بشكل كبير على جودة الصورة الملتقطة. قد يؤدي استخدام ستارة غير مناسبة إلى صورة ضبابية، انقطاع الفيديو، أو ظاهرة الستارة المتداول (rolling shutter artifact). تسعى الأعمال السابقة إلى تقديم حل مستقل لكل مشكلة. أما في هذا العمل، فنهدف إلى إعادة تعريض الصورة الملتقطة في مرحلة ما بعد المعالجة لتقديم طريقة أكثر مرونة للتعامل مع هذه المشكلات ضمن إطار موحد.بشكل خاص، نقترح إطارًا لإعادة تعريض الصور يعتمد على الشبكات العصبية. يتكون هذا الإطار من مُشفِّر (encoder) لبناء الفضاء الكامن البصري، ووحدة إعادة التعريض (re-exposure module) لتجميع المعلومات في الفيلم العصبي باستخدام استراتيجية ستارة مرغوبة، ومُفكِّك (decoder) لـ"تطوير" الفيلم العصبي إلى صورة مرغوبة. لتعويض ارتباك المعلومات وإهمال الإطارات، يتم الاستفادة من تيارات الأحداث التي يمكنها التقاط التغيرات في السطوع بشكل شبه مستمر في حساب المحتوى الكامن البصري. يتم استخدام طبقات الانتباه الذاتي (self-attention layers) وطبقات الانتباه المتبادل (cross-attention layers) في وحدة إعادة التعريض لتعزيز التفاعل بين الفيلم العصبي والمحتوى الكامن البصري وتجميع المعلومات إلى الفيلم العصبي. تم تقييم الإطار الموحد المقترح لإعادة تعريض الصور في عدة مهام استرجاع صور ذات صلة بالستارة وأظهر أداءً متفوقًا مقابل أفضل الأساليب المستقلة الحالية.