GRAF: 3次元認識を持つ画像合成のための生成放射場

2D生成対抗ネットワークは高解像度画像の合成を可能にしましたが、3D世界と画像形成プロセスの理解には大きく欠けています。したがって、カメラ視点やオブジェクト姿勢に対する精密な制御を提供することができません。この問題に対処するために、最近のいくつかの手法では中間的なボクセルベース表現と微分可能なレンダリングを組み合わせて利用しています。しかし、既存の方法は低解像度の画像しか生成できないか、またはカメラとシーンの特性（例えば、オブジェクト同一性が視点によって変動する）を十分に分離できないという課題があります。本論文では、単一シーンの新規視点合成において最近成功を収めている放射輝度場（radiance fields）のための生成モデルを提案します。ボクセルベース表現とは異なり、放射輝度場は3D空間の粗い離散化に制限されず、カメラとシーンの特性を分離しつつ、再構成の曖昧性がある場合でも漸進的に性能が低下することを特徴としています。マルチスケールパッチベース判別器を導入することで、無ポーズ2D画像のみからモデルを学習させつつ高解像度画像の合成を行うことを示します。我々は複数の挑戦的な合成データセットおよび実世界データセットで系統的にアプローチを分析しました。実験結果は、放射輝度場が生成画像合成における強力な表現であり、高精度でレンダリング可能な3D一貫性のあるモデルを生成することにつながることを明らかにしています。