PhySG: التصوير العكسي باستخدام الجaussيات الكروية لتحرير المواد القائمة على الفيزياء وإعادة الإضاءة

نقدم نظام PhySG، وهو خط أنابيب تحليل عكسي شامل يشمل محرك رسم معكوس قابل للتفاضل بالكامل ويمكنه إعادة بناء الهندسة والمواد والإضاءة من الصفر باستخدام مجموعة من صور RGB المدخلة. يمثل إطارنا هذا الانعكاسات اللمعية والإضاءة البيئية باستخدام مزيج من الجاوسيات الكروية، ويستخدم دالة المسافة الموقعة كتمثيل للهندسة، والتي يتم ضبطها كشبكة عصبية متعددة الطبقات (Multi-Layer Perceptron). يتيح استخدام الجاوسيات الكروية لنا حل مشكلة نقل الضوء التقريبي بكفاءة، وتعمل طريقتنا على مشاهد تحتوي على انعكاسات غير لامبرتية صعبة تم التقاطها تحت إضاءة ثابتة وطبيعية. نوضح، باستخدام البيانات المصنعة والبيانات الحقيقية، أن إعادة بنائنا لا تقتصر فقط على تمكين رسم زوايا مشاهدة جديدة، بل تشمل أيضًا تعديل المظهر القائم على الفيزياء للمواد والإضاءة.