شبكات تجميع كثيفة مُلهمة بالفيزياء للإضاءة المُعادَة

أصبحت إعادة الإضاءة للصور مشكلة ذات اهتمام بحثي كبير، مستوحاة من تطبيقات الواقع المعزز. تم تطوير أساليب تقليدية قائمة على الفيزياء، وكذلك نماذج تعلم عميق "مغلقة الصندوق". وقد استغلت الشبكات العصبية العميقة التدريب لتحقيق حالة متقدمة جديدة؛ ومع ذلك، قد تؤدي إلى أداء ضعيف عندما يكون التدريب محدودًا أو لا يمثل ظواهر المشكلة بدقة، مثل إضافة أو إزالة الظلال الكثيفة. نقترح نموذجًا يُثري الشبكات العصبية بالفهم الفيزيائي. وبشكل أكثر دقة، تُولِّد طريقة عملنا صورة معاد إضاءتها بظروف إضاءة جديدة من خلال استراتيجيتين مختلفتين، ثم تُدمج النتيجتان باستخدام خريطة وزن (w). في الاستراتيجية الأولى، يتنبأ النموذج بمعاملات انعكاس المواد (الألbedo) ومعاملات الإضاءة/الهندسة للصورة المعاد إضاءتها (التي نسميها تحليل الصورة الداخلية (IID)). أما الاستراتيجية الثانية، فهي تعتمد بالكامل على النهج "المغلق الصندوق"، حيث يقوم النموذج بتحسين أوزانه بناءً على الصور الحقيقية (ground-truth) وحدود الخسارة أثناء مرحلة التدريب، ثم يُنتج الصورة المعاد إضاءتها مباشرةً (ونسمي هذه الاستراتيجية "الاستراتيجية المباشرة"). على الرغم من أن الطريقة المقترحة تنطبق على مشكلتي إعادة الإضاءة "واحد إلى واحد" و"أي إلى أي"، فإننا نُدخل مكونات مخصصة لكل حالة لتعزيز أداء النموذج: 1) بالنسبة لإعادة الإضاءة "واحد إلى واحد"، نُدمج متجهات العمودية للسطوح في المشهد لضبط اللمعان والظلال بشكل مناسب في الصورة. 2) بالنسبة لإعادة الإضاءة "أي إلى أي"، نقترح إضافة كتلة متعددة المقياس إلى البنية لتحسين استخراج الميزات. أظهرت النتائج التجريبية على مجموعتي بيانات VIDIT 2020 و VIDIT 2021 (اللتين استُخدِما في تحدي إعادة الإضاءة NTIRE 2021) أن اقتراحنا يتفوق على العديد من الطرق المتطورة من حيث مقاييس الولاء المعروفة وفقدان الإدراك.