One is All：プログレッシブボリューム蒸留を用いたニューラルレンディアンスフィールドアーキテクチャ間のギャップを埋める

Neural Radiance Fields（NeRF）手法は、3Dシーンをコンパクトかつ高品質かつ汎用的な表現として有効であることが実証されており、編集、検索、ナビゲーションなどの下流タスクを可能にしている。さまざまなニューラルアーキテクチャがNeRFのコア構造として競合しており、単純な多層パーセプトロン（MLP）、スパーステンソル、低ランクテンソル、ハッシュテーブル、およびそれらの組み合わせが含まれる。これらの表現それぞれには、固有のトレードオフが存在する。たとえば、ハッシュテーブルに基づく表現は高速な学習とレンダリングを実現するが、明確な幾何学的意味を持たないため、空間関係を考慮した編集などの下流タスクに支障をきたすことがある。本論文では、MLP、スパースまたは低ランクテンソル、ハッシュテーブル、およびそれらの組み合わせなど、あらゆるアーキテクチャ間での任意の変換を可能にする体系的な蒸留手法である「プログレッシブボリューム蒸留（Progressive Volume Distillation: PVD）」を提案する。PVDにより、下流アプリケーションはタスクに応じて事後的に最適なニューラル表現を選択・最適化できるようになる。変換は高速であり、ボリューム表現の階層（浅い層から深い層へ）に沿って段階的に蒸留が行われるため、効率的である。また、密度の数値的不安定性という特異な問題に対処するため、特別な処理を導入している。NeRF-Synthetic、LLFF、TanksAndTemplesのデータセットを用いた実証実験により、本手法の有効性が確認された。たとえば、PVDを用いることで、MLPベースのNeRFモデルを、ハッシュテーブルベースのInstant-NGPモデルから、元のNeRFをスクラッチから学習する場合に比べて10〜20倍の速度で蒸留可能でありながら、より優れた合成品質を達成している。コードは以下のURLで公開されている：https://github.com/megvii-research/AAAI2023-PVD。