MobileNeRF：モバイルアーキテクチャにおける効率的なNeural Fieldレンダリングのためのポリゴンラスタライゼーションパイプラインの活用

ニューラルレディアンスフィールド（NeRF）は、3Dシーンの新規視点からの画像合成において優れた能力を示している。しかし、従来のNeRFは、レイマーチングに基づく特殊な体積レンダリングアルゴリズムに依存しており、広く普及しているグラフィックスハードウェアの能力と不整合を生じている。本論文では、テクスチャ付きポリゴンに基づく新しいNeRF表現を提案する。この表現により、標準的なレンダリングパイプラインを用いて効率的に新規画像を合成することが可能となる。本手法では、NeRFをテクスチャとしてバイナリな透過度と特徴ベクトルを表現するポリゴンの集合として定義する。従来のzバッファを用いたポリゴンレンダリングにより、各ピクセルに特徴量が得られ、その特徴量はフラグメントシェーダー内で実行される小型の視点依存型MLPによって処理され、最終的なピクセルカラーが生成される。このアプローチにより、NeRFは従来のポリゴンラスタライゼーションパイプラインでレンダリング可能となり、ピクセルレベルでの大規模な並列処理が実現され、モバイル端末を含む多様なコンピューティングプラットフォーム上でインタラクティブなフレームレートを達成することが可能となった。