استخراج النماذج ثلاثية الأبعاد المثلثية والمواد والإضاءة من الصور

نقدم طريقة فعالة لتحسين التكوين المكاني، المواد والإضاءة من خلال ملاحظات صور متعددة الزوايا. على عكس الطرق الحديثة لإعادة بناء الصور المتعددة الزوايا، التي تنتج غالبًا تمثيلات ثلاثية الأبعاد معقدة مشفرة في الشبكات العصبية، نحن ننتج شبكات مثلثية مع مواد متغيرة حسب الموقع وإضاءة البيئة يمكن استخدامها دون تعديل في أي محرك رسوميات تقليدي. نستفيد من الأعمال الحديثة في الرسم التفاضلي والشبكات المعتمدة على الإحداثيات لتمثيل النسيج الحجمي بشكل مضغوط، بالإضافة إلى الرسم التفاضلي للمضلعات الرباعية للسماح بالتحسين القائم على التدرج مباشرة على شبكة السطح. أخيرًا، نقدم صياغة قابلة للتفاضل لتقريب المجموع المنقسم لإضاءة البيئة لاستعادة الإضاءة بكفاءة في جميع الترددات. تظهر التجارب أن النماذج المستخرجة لدينا تُستخدم في تحرير المشاهد المتقدمة، وتحليل المواد وجودة عالية للاستكمال البصري، وكلها تعمل بمعدلات تفاعلية في محركات الرسم المعتمدة على المثلثات (محركات الرسم بالنقاط والرسم بالمسارات). موقع المشروع: https://nvlabs.github.io/nvdiffrec/ .