NeRFactor: التحليل العصبي للشكل والانعكاس تحت الإضاءة غير المعروفة

نتناول مشكلة استعادة الشكل والانعكاس المتغير فضائياً للكائن من صور متعددة الزوايا (ووضعيات الكاميرات) للكائن المضاء بحالة إضاءة واحدة غير معروفة. هذا يمكّن من توليد صور جديدة للكائن تحت الإضاءة البيئية العشوائية وتحرير خصائص المواد الخاصة بالكائن. المفتاح في نهجنا، الذي نطلق عليه تقسيم الإشعاع العصبي (NeRFactor)، هو تقطير الهندسة الحجمية لمجال الإشعاع العصبي (NeRF) [Mildenhall et al. 2020] إلى تمثيل سطحي ومن ثم تحسين الهندسة بشكل مشترك أثناء حل مسألة الانعكاس المتغير فضائياً والإضاءة البيئية. تحديداً، يستعيد NeRFactor حقول عصبية ثلاثية الأبعاد للمساقط السطحية، ورؤية الضوء، والألبدو، ودوال التوزيع الانعكاسي ثنائية الاتجاه (BRDFs) دون أي إشراف، باستخدام فقط خسارة إعادة التوليد، وأولويات سلاسة بسيطة، وأولوية BRDF مستندة إلى البيانات تم تعلمها من قياسات BRDF الحقيقية. عن طريق نمذجة رؤية الضوء بشكل صريح، يتمكن NeRFactor من فصل الظلال عن الألبدو وإنتاج ظلال ناعمة أو صلبة واقعية تحت ظروف الإضاءة العشوائية. يتمكن NeRFactor من استعادة نماذج ثلاثية الأبعاد مقنعة لإعادة الإضاءة بزاوية حرة في هذا الإعداد التقاط الصعب وغير المقيد للإضاءة لكل من المشاهد المصنعة والمواقع الحقيقية. تظهر التجارب النوعية والكمية أن NeRFactor يتفوق على أحدث الأساليب التقليدية والمستندة إلى التعلم العميق في مختلف المهام. يمكن الوصول إلى مقاطع الفيديو والشفرة البرمجية والبيانات الخاصة بنا على الرابط people.csail.mit.edu/xiuming/projects/nerfactor/.