2ヶ月前

クラス連続条件付き生成ニューラル放射フィールド

Kim, Jiwook ; Lee, Minhyeok
クラス連続条件付き生成ニューラル放射フィールド
要約

3D認識画像合成は、高解像度の詳細な画像を生成するだけでなく、空間的一貫性を保つことに焦点を当てています。最近、低計算コストと優れた性能で新しい視点を合成するためにNeural Radiance Field(NeRF)が導入されました。いくつかの研究では生成型NeRFが調査され、著しい成果が示されていますが、生成プロセスにおける条件付きおよび連続的な特徴操作には対応していません。本研究では、条件付き特徴をジェネレータとディスクリミネータに投影することで、条件付き操作された写実的な3D一貫性のある画像を合成できる新規モデルClass-Continuous Conditional Generative NeRF($\text{C}^{3}$G-NeRF)を提案します。提案した$\text{C}^{3}$G-NeRFは、AFHQ、CelebA、Carsの3つの画像データセットで評価されました。その結果、本モデルは細部にわたる強力な3D一貫性と条件付き特徴操作における滑らかな補間を示しました。例えば、$\text{C}^{3}$G-NeRFは128×128解像度の3D認識顔画像合成においてFréchet Inception Distance(FID)7.64を達成しています。さらに、各データセットのクラスごとに生成された3D認識画像のFIDも提供しており、$\text{C}^{3}$G-NeRFを使用してクラス条件付き画像を合成することが可能です。

クラス連続条件付き生成ニューラル放射フィールド | 最新論文 | HyperAI超神経