CIPS-3D: 조건부 독립 픽셀 합성을 기반한 3D 인식 GAN 생성기

스타일 기반 GAN(StyleGAN) 구조는 고품질 이미지를 생성하는 데 있어 최고 수준의 결과를 달성했지만, 카메라 포즈에 대한 명시적이고 정확한 제어가 부족하다. 최근 제안된 NeRF 기반 GAN들은 3D 인식 생성기 분야에서 큰 진전을 이뤘으나 아직 고품질 이미지를 생성하는 데는 한계가 있다. 본 논문에서는 얕은 NeRF 네트워크와 깊은 암시적 신경 표현(INR) 네트워크로 구성된 스타일 기반, 3D 인식 생성기인 CIPS-3D를 소개한다. 이 생성기는 공간적인 합성곱 또는 업샘플링 연산 없이 각 픽셀 값을 독립적으로 합성한다. 또한, 우리는 미러 대칭 문제를 진단하여 이 문제가 비최적 해임을 시사하고 이를 보조 판별자(디스크리미네이터)를 도입함으로써 해결하였다. 단일 뷰 원시 이미지에서 훈련된 CIPS-3D는 FFHQ 데이터셋에서 $256\times256$ 해상도의 이미지에 대해 인상적인 FID 6.97로 3D 인식 이미지 합성 분야에서 새로운 기록을 세웠다. 또한, CIPS-3D의 몇 가지 흥미로운 방향성을 전이 학습과 3D 인식 얼굴 스타일화 등으로 시연하였다. 합성 결과는 동영상 형태로 가장 잘 감상할 수 있으므로, 독자분들께서는 https://github.com/PeterouZh/CIPS-3D 에서 우리의 GitHub 프로젝트를 확인하시기를 권장한다.