إلى إزالة الظلال الخفية دون شوائب من خلال شبكة تجميع هيراركية مزدوجة وشبكة GAN لتلوين الظلال

إزالة الظلال هي مهمة أساسية لفهم المشهد. تركز العديد من الدراسات فقط على مطابقة محتوى الصورة، مما يؤدي غالبًا إلى نوعين من الظلال المزيفة: عدم اتساق الألوان في مناطق الظل أو تشوهات على حدود الظل. في هذا البحث، نعالج هذه المشكلات بطريقتين. أولاً، لتعلم صورة خالية من تشوهات الحدود بدقة، نقترح بنية شبكة جديدة تُسمى الشبكة التجميعية ذات الهيكل المزدوج والمتعدد المستويات (DHAN). تضم هذه الشبكة سلسلة من التحويلات الموسعة المتزايدة (growth dilated convolutions) كعمود فقري دون أي تقليل في الدقة (down-samplings)، ونقوم بتجميع سمات متعددة السياقات بشكل هرمي لغرض التوجيه والتنبؤ على التوالي. ثانيًا، نفترض أن التدريب على مجموعة بيانات محدودة يقيد فهم الشبكة للنسيج، مما يؤدي إلى عدم اتساق الألوان في مناطق الظل. في الوقت الحالي، أكبر مجموعة بيانات تحتوي على أكثر من 2000 زوج من الصور ذات الظل والصور الخالية من الظل. ومع ذلك، فإنها تحتوي فقط على أكثر من 1000 مشهد فريد، نظرًا لأن العديد من العينات تشترك في نفس الخلفية ولكن بوضعيات مختلفة للظل. لذا، قمنا بتصميم شبكة توليدية معاكسة لإزالة الظلال (SMGAN) لاستخلاص تراكيب ظلال واقعية من قناع ظل معطى وصورة خالية من الظل. وباستخدام أقنعة أو مشاهد جديدة، نعزز المجموعات الحالية من خلال صور ظلال مُولَّدة. تُظهر التجارب أن شبكة DHAN قادرة على إزالة الظلال وإنتاج صور عالية الجودة خالية من الظلال المزيفة. وبعد التدريب على مجموعات بيانات مُولَّدة وواقعية، تتفوق شبكتنا على الطرق الأخرى الرائدة في مجالها بفارق كبير. يمكن الوصول إلى الكود من خلال: http://github.com/vinthony/ghost-free-shadow-removal/