GAUDI：没入型3Dシーン生成のためのニューラルアーキテクチャ

我々は、移動するカメラから没入的にレンダリング可能な複雑かつ現実的な3Dシーンの分布を捉えることのできる生成モデルGAUDIを提案する。この困難な課題に対して、スケーラブルでありながら強力なアプローチを採用し、まず放射場（radiance fields）とカメラポーズを分離する潜在表現（latent representation）を最適化する。その後、この潜在表現を用いて、無条件および条件付きの3Dシーン生成を可能にする生成モデルを学習する。従来の単一オブジェクトに焦点を当てた研究とは異なり、GAUDIは「カメラポーズの分布はサンプル間で共有可能である」という仮定を排除することで、より一般的な設定を実現している。実験の結果、GAUDIは複数のデータセットにおいて無条件生成設定で最先端の性能を達成するとともに、スパースな画像観測やシーンを記述するテキストなどの条件変数を用いた条件下でも3Dシーンの生成を可能にすることが示された。