CIPS-3D: 条件付き独立ピクセル合成に基づくGANの3D認識ジェネレーター

スタイルベースのGAN（StyleGAN）アーキテクチャは、高品質な画像生成において最先端の結果を達成しましたが、カメラポーズに対する明確かつ精密な制御に欠けています。最近提案されたNeRFベースのGANは3次元認識ジェネレータへの大きな進歩を遂げましたが、まだ高品質な画像を生成することはできません。本論文では、浅いNeRFネットワークと深い暗黙的なニューラル表現（INR）ネットワークから構成される、スタイルベースで3次元認識可能なジェネレータCIPS-3Dを提案します。このジェネレータは、空間畳み込みやアップサンプリング操作なしで各ピクセル値を独立して合成します。さらに、鏡像対称性という問題が最適解ではないことを診断し、補助的なディスクリミネータの導入により解決しています。単一視点の生画像で学習したCIPS-3Dは、FFHQデータセットにおける$256\times256$解像度の画像に対してFID 6.97という印象的な数値を記録し、3次元認識画像合成において新しい記録を樹立しました。また、転移学習や3次元認識顔スタイリゼーションなどのCIPS-3Dの興味深い応用例も示しています。合成結果は動画として視覚化するのが最も良いため、読者の方々にはGitHubプロジェクト（https://github.com/PeterouZh/CIPS-3D）をご覧いただくことをお勧めします。