الدمج التلقائي للتعرض لإزالة الظل من الصورة الواحدة

ازالة الظل لا تزال مهمة صعبة بسبب خصائصها المعتمدة على الخلفية والمتغيرة فضائياً، مما يؤدي إلى أنماط ظل غير معروفة ومتنوعة. حتى الشبكات العصبية العميقة الأكثر تقدماً يصعب عليها استعادة الخلفية بدون أثر للظل. تقترح هذه الورقة حلًا جديدًا لهذه المهمة من خلال صياغتها كمشكلة دمج التعرض (Exposure Fusion) لمواجهة التحديات. بشكل حدسي، يمكننا أولاً تقدير صور متعددة ذات تعرض مفرط بالنسبة للصورة المدخلة لجعل المناطق الظليلة في هذه الصور لها نفس اللون مع المناطق الخالية من الظل في الصورة المدخلة. ثم نقوم بدمج الصورة الأصلية مع الصور ذات التعرض المفرط لإنتاج النسخة النهائية الخالية من الظل. ومع ذلك، فإن الخاصية المتغيرة فضائياً للظل تتطلب أن يكون الدمج كافياً "ذكياً"، أي يجب أن يقوم باختيار البكسلات ذات التعرض المفرط المناسبة تلقائيًا من صور مختلفة لجعل الإخراج النهائي طبيعيًا. لمعالجة هذا التحدي، نقترح شبكتَي الدمج الواعيتين بالظل (Shadow-aware FusionNet) التي تأخذ الصورة الظليلة كمدخل لإنشاء خرائط وزن الدمج عبر جميع الصور ذات التعرض المفرط، وشبكة التعديل الواعية بالحدود (Boundary-aware RefineNet) للتخلص بشكل أكبر من آثار الظل المتبقية. نجري تجارب واسعة على مجموعات البيانات ISTD و ISTD+ و SRD لتأكيد فعالية طريقتنا وأظهار الأداء الأفضل في المناطق الظليلة والأداء المنافس في المناطق غير الظليلة مقارنة بأحدث الأساليب. نقوم بإطلاق النموذج والكود في https://github.com/tsingqguo/exposure-fusion-shadow-removal.