GENIE：ニューラルレンディアンスフィールドのインタラクティブ編集のためのガウス符号化

ニューラルレーダンスフィールド（NeRF）とガウススプラッティング（GS）は、最近、3次元シーンの表現とレンダリングにおいて画期的な進展をもたらした。NeRFは、ニューラルネットワークを用いて体積表現を学習することで、高精細な新視点合成を実現するが、その暗黙的表現形式のため、編集や物理的相互作用が困難であるという課題がある。一方、GSはシーンをガウスプリミティブの明示的集合として表現するため、リアルタイムレンダリング、高速な学習、直感的な操作が可能となる。この明示的な構造により、GSはインタラクティブな編集や物理ベースのシミュレーションとの統合において特に優れた適性を示している。本論文では、NeRFの写実的なレンダリング品質とGSの編集可能で構造的な表現を融合したハイブリッドモデル「GENIE（Gaussian Encoding for Neural Radiance Fields Interactive Editing）」を提案する。アペアランスモデリングに球面調和関数を用いるのではなく、各ガウスに対して学習可能な特徴埋め込みを割り当てる。これらの埋め込みは、各クエリポイントに近接するk個の近傍ガウスに基づいて、NeRFネットワークを条件づけるために用いられる。この条件付けを効率的に行うために、改良されたレイトライシングパイプラインを基盤とする「レイトラース・ガウス近接探索（RT-GPS）」を導入する。さらに、マルチスケールハッシュグリッドを用いてガウス特徴の初期化および更新を実現する。これらの要素を統合することで、リアルタイムかつ局所性を意識した編集が可能となる：ガウスプリミティブを再配置または変更すると、その補間された影響が即座にレンダリング出力に反映される。暗黙的表現と明示的表現の長所を組み合わせることで、GENIEは直感的なシーン操作、動的な相互作用、物理シミュレーションとの互換性を実現し、幾何学ベースの編集とニューラルレンダリングのギャップを埋めることを可能にする。本研究のコードは以下のリンクから公開されている：https://github.com/MikolajZielinski/genie