أنت بحاجة فقط إلى 90K من المعاملات لتكيف الضوء: محول خفيف الوزن للتحسين والتصحيح التعرض للصورة

الظروف الإضاءة الصعبة (الإضاءة الخافتة، التعرض القليل والكثير) في العالم الحقيقي لا تقتصر على إعطائها مظهرًا بصريًا غير لائق فحسب، بل تؤثر أيضًا سلبًا على مهام الرؤية الحاسوبية. بعد التقاط الكاميرا للبيانات الخام RGB، تقوم بتجسيد صور sRGB القياسية باستخدام معالج إشارة الصورة (ISP). من خلال تفكيك خط أنابيب ISP إلى مكونات صورة محلية وعالمية، نقترح استخدام محول الإضاءة التكيفي السريع والخفيف الوزن (IAT) لاستعادة صورة sRGB المضيئة بشكل طبيعي من ظروف الإضاءة الخافتة أو التعرض القليل/الكثير.بشكل خاص، يستخدم IAT استعلامات الانتباه لتمثيل وضبط المعلمات المرتبطة بـ ISP مثل تصحيح اللون وتصحيح جاما. ومع وجود حوالي 90 ألف معلمة فقط وبسرعة معالجة تبلغ حوالي 0.004 ثانية، يحقق IAT أداءً فائقًا باستمرار على أفضل النماذج الحالية في مجموعات البيانات الخاصة بتحسين الإضاءة الخافتة وتصحيح التعرض. كما تظهر الأداء التجريبي التنافسي أن IAT يعزز بشكل كبير مهام اكتشاف الأشياء والتقسيم الدلالي تحت ظروف الإضاءة المختلفة. يمكن الوصول إلى كود التدريب والنموذج المدرب مسبقًا عبر الرابط:https://github.com/cuiziteng/Illumination-Adaptive-Transformer.