Neural-PBIRによる形状、材質、照明の再構成

物理世界の物体の形状と空間的に変動する表面外観、およびその周囲の照明を、物体の2D画像（例えば、写真）に基づいて再構成することは、コンピュータビジョンとグラフィックスにおける長年の課題となっています。本論文では、ニューラルベースの物体再構成と物理ベースの逆レンダリング（PBIR）を組み合わせた、精度が高く効率的な物体再構成パイプラインを提案します。当該パイプラインはまず、ニューラルSDF（Signed Distance Function）に基づく形状再構成を使用して、高品質だが潜在的に不完全な物体形状を生成します。次に、ニューラルマテリアルと照明抽出ステージを導入し、マテリアルと照明の高品質な予測を達成します。最後のステージでは、ニューラル予測によって初期化された後、PBIRを実行して初期結果を洗練し、最終的に物体の形状、マテリアル、および照明の高品質な再構成を得ます。実験結果は、当該パイプラインが既存の方法よりも質的および性能的に大幅に優れていることを示しています。