شبكة تطابق ثنائي الاتجاه لإزالة الظلال

إزالة الظلال، التي تهدف إلى استعادة الخلفية في المناطق المظللة، تُعدّ تحديًا كبيرًا نظرًا لطبيعتها غير المحددة جيدًا بشكل كبير. تُركّز معظم الطرق القائمة على التعلم العميق حاليًا على إزالة الظل بشكل منفصل، مع الاعتماد فقط على محتوى الصور المُزامنة، مع تجاهل التوجيه المساعد الناتج عن عملية توليد الظلال في عملية إزالة الظلال. في هذا العمل، نُقدّم رأيًا بأن إزالة الظلال وتوليد الظلال مترابطان، ويمكن أن يُقدّما توجيهًا معلوماتيًا مفيدًا لبعضهما البعض. بشكل خاص، نُقدّم شبكة خريطة مزدوجة التماثل (BMNet)، التي تُدمج عمليات تعلّم إزالة الظلال وتوليد الظلال داخل إطار موحد يشترك في المعلمات. وبفضل القيود الثنائية المتناسقة وتحسين مزدوج متزامن لعمليتي التعلّم، يمكن لـ BMNet استعادة محتويات الخلفية الكامنة بشكل فعّال أثناء عملية إزالة الظل في الاتجاه الأمامي. بالإضافة إلى ذلك، من خلال التحليل الإحصائي على مجموعات بيانات واقعية، لاحظنا ووثّقنا أن مظهر الظلال تحت طيف ألوان مختلف لا يكون متسقًا. وهذا يُحفّزنا على تصميم وحدة توجيه لونية غير حساسة للظل (SICGM)، التي تُستخدم صراحةً في توجيه عملية استعادة الألوان عبر المعلومات المُتعلّمة حول الألوان غير الحساسة للظل، مما يقلل بشكل إضافي من آثار التحيّز اللوني. أظهرت التجارب على معايير ممثلة مثل ISTD وISTD+ وSRD أن الشبكة المقترحة تتفوّق على أحدث الطرق المُعتمدة في أداء إزالة الظلال، مع استخدامها فقط 0.25% من عدد المعلمات في الشبكة و6.25% من العمليات العائمة (FLOPs).