編集条件付きランタンスフィールド

神経レンディアンスフィールド（NeRF）は、各シーンごとに最適化され、高品質なビュー合成を可能にするシーンモデルである。本論文では、形状カテゴリにわたって学習されたカテゴリレベルのNeRF（すなわち、条件付きレンディアンスフィールド）に対して、ユーザーによる編集を可能にする手法を検討する。具体的には、粗い2Dのユーザースクライブルを3D空間に伝搬させ、局所領域の色や形状を編集する手法を提案する。まず、複数のオブジェクトインスタンスに共通する形状ブランチを含む新たなモジュール型ネットワーク構造を有する条件付きレンディアンスフィールドを提案する。同一カテゴリの複数のインスタンスを観察することで、教師なしの状態で基礎的な部位の意味を学習可能となる。これにより、粗い2Dスクライブルが全体の3D領域（例：椅子の座面）に適切に伝搬可能となる。次に、特定のネットワークコンポーネントに焦点を当てたハイブリッドなネットワーク更新戦略を提案し、効率性と精度のバランスを実現する。ユーザーとのインタラクション中には、ユーザーの制約を満たしつつ、元のオブジェクト構造を保持する最適化問題を定式化する。我々の手法は、3つの形状データセット上でさまざまな編集タスクに適用し、従来のニューラル編集手法を上回ることを示した。さらに、実写写真に対して外観および形状の編集を実施し、その編集内容が拡張された新規ビューにまで自然に伝搬することを確認した。