NeRD: 画像コレクションからのニューラル反射分解

シーンを形状、反射率、照明に分解することは、コンピュータビジョンとグラフィックスにおいて挑戦的かつ重要な問題です。特に、照明が実験室条件下の単一光源ではなく、制約のない環境照明である場合、この問題はより困難になります。最近の研究では、暗黙的な表現を使用して物体の放射輝度場をモデル化できることが示されていますが、これらの技術の多くは視点合成には適していますが、再照明には対応していません。さらに、これらの放射輝度場を評価することはリソースと時間のかかる作業です。本稿では、物理ベースレンダリングを使用してシーンを空間変動型BRDF（Bidirectional Reflectance Distribution Function）材質特性に分解するニューラル反射分解（NeRD）手法を提案します。既存の手法とは異なり、我々の入力画像は異なる照明条件下で撮影することができます。また、学習した反射体積を再照明可能なテクスチャ付きメッシュに変換する技術も提案しており、新しい照明条件下での高速リアルタイムレンダリングが可能となります。我々は合成データセットと実際のデータセットを用いた実験を通じて、提案手法の潜在能力を示しました。画像コレクションから高品質な再照明可能な3Dアセットを得ることができました。データセットとコードはプロジェクトページで公開されています: https://markboss.me/publication/2021-nerd/