من توليد الظل إلى إزالة الظل

إزالة الظلال هي مهمة في الرؤية الحاسوبية تهدف إلى استعادة محتوى الصورة في المناطق المظللة. على الرغم من أن معظم الطرق الحديثة لإزالة الظلال تتطلب صورًا خالية من الظلال لتدريب النموذج، إلا أن لي وسمراس في مؤتمر ECCV 2020 قد قدما نهجًا مبتكرًا لا يتطلب هذا الشرط، من خلال أخذ عينات مقطوعة (بما في ذلك تلك التي تحتوي على ظلال وأخرى خالية منها) من الصور المظللة كبيانات تدريب. ومع ذلك، لا يزال إنشاء كميات كبيرة من هذه القطع غير المزوجة عملية متعبة وطويلة الأمد. في هذه الورقة، نقترح نموذج G2R-ShadowNet الجديد، الذي يستخدم توليد الظلال لتحقيق إزالة الظلال بتوظيف إشراف ضعيف، وذلك باستخدام مجموعة فقط من الصور المظللة وأقنعة الظلال المقابلة لها في التدريب. يتكون نموذج G2R-ShadowNet المقترح من ثلاث شبكات فرعية: شبكة لتوليد الظلال، وشبكة لإزالة الظلال، وشبكة للتحسين، وتُدرَّب هذه الشبكات الثلاث معًا بطريقة متكاملة من الطرف إلى الطرف. وبشكل خاص، تقوم شبكة توليد الظلال بتحويل مناطق الصورة الخالية من الظلال إلى مناطق مظللة، مما ينتج بيانات مزوجة تُستخدم لتدريب شبكة إزالة الظلال. أظهرت التجارب الواسعة على مجموعة بيانات ISTD وبيانات إزالة الظلال في الفيديو أن نموذج G2R-ShadowNet المقترح يحقق أداءً تنافسيًا مع أحدث النماذج الحالية، ويتفوق على طريقة لي وسمراس القائمة على القطع لإزالة الظلال.