NeRD: تفكيك الانعكاس العصبي من مجموعات الصور

تفكيك المشهد إلى شكله وانعكاسه وأضاءته هو مشكلة صعبة ولكنها مهمة في رؤية الحاسوب والرسومات. تصبح هذه المشكلة بطبيعتها أكثر صعوبة عندما تكون الأضاءة ليست مصدر ضوء واحد تحت ظروف المختبر، بل هي بدلاً من ذلك أضاءة بيئية غير مقيدة. رغم أن الأعمال الحديثة أظهرت أنه يمكن استخدام التمثيلات الضمنية لنمذجة حقل الإشعاع للكائن، فإن معظم هذه التقنيات تقتصر على التركيب البصري ولا تتيح إعادة الإضاءة. بالإضافة إلى ذلك، فإن تقييم هذه حقول الإشعاع يتطلب موارد وزمناً كبيرين. نقترح تقنية تفكيك الانعكاس العصبي (NeRD) التي تستفيد من التظليل القائم على الفيزياء لتفكيك المشهد إلى خصائص المواد BRDF المتغيرة فضائياً. بخلاف التقنيات الموجودة، يمكن التقاط صورنا الإدخال تحت ظروف إضاءة مختلفة. كما نقترح أيضاً تقنيات لتحويل الحجم الانعكاسي المتعلم إلى شبكة نسيجية قابلة لإعادة الإضاءة، مما يمكّن من التحديد السريع في الوقت الحقيقي مع إضاءات جديدة. نوضح إمكانات النهج المقترح من خلال التجارب على مجموعات بيانات اصطناعية وحقيقية، حيث نتمكن من الحصول على أصول ثلاثية الأبعاد ذات جودة عالية قابلة لإعادة الإضاءة من مجموعات الصور. البيانات والمصدر متاحة على صفحة المشروع: https://markboss.me/publication/2021-nerd/