NeRF: ニューラル放射フィールドによるシーン表現と視点合成

複雑なシーンの新しい視点を合成するための最先端の結果を達成する方法を提案します。この方法は、入力ビューの疎集合を使用して、基礎となる連続的な体積シーン関数を最適化することにより実現されます。我々のアルゴリズムは、シーンを全結合（非畳み込み）深層ネットワークで表現し、その入力は単一の連続的な5次元座標（空間位置$(x,y,z)$と視線方向$(θ, ϕ)$）であり、出力はその空間位置での体積密度と視点依存の放射輝度です。カメラレイに沿って5次元座標を照会することで視点を合成し、古典的な体積レンダリング技術を使用して出力された色と密度を画像に投影します。体積レンダリングが自然に微分可能であるため、我々の表現を最適化するために必要な唯一の入力は、カメラポーズが既知の画像セットです。効果的にニューラル放射輝度場を最適化して、複雑な形状と外観を持つシーンの写実的な新しい視点をレンダリングする方法について説明し、ニューラルレンダリングや視点合成に関する先行研究よりも優れた結果を示します。視点合成の結果は動画として見るのが最も良いため、読者には補足動画をご覧顶くことを強くお勧めします。