2달 전

클래스-연속 조건부 생성적 신경 방사선 필드

Kim, Jiwook ; Lee, Minhyeok
클래스-연속 조건부 생성적 신경 방사선 필드
초록

3차원 인식 이미지 합성은 고해상도 이미지를 세부적으로 생성하는 것 외에도 공간 일관성을 유지하는 데 중점을 두고 있습니다. 최근에는 저렴한 계산 비용과 우수한 성능으로 새로운 시점을 합성하기 위해 신경 방사장(Neural Radiance Field, NeRF)이 소개되었습니다. 여러 연구가 생성형 NeRF를 조사하고 뛰어난 성과를 보였지만, 생성 과정에서 조건부 및 연속적인 특성 조작을 처리할 수 없습니다. 본 연구에서는 조건부로 조작된 실제와 같은 3차원 일관 이미지를 생성할 수 있는 새로운 모델인 클래스-연속 조건부 생성 NeRF ($\text{C}^{3}$G-NeRF)를 제안합니다. 이 모델은 조건부 특성을 생성기와 판별기에 투영하여 작동합니다. 제안된 $\text{C}^{3}$G-NeRF는 AFHQ, CelebA, Cars 세 가지 이미지 데이터셋을 통해 평가되었습니다. 그 결과, 본 모델은 조건부 특성 조작에서 세밀한 디테일과 부드러운 보간을 갖춘 강력한 3차원 일관성을 보였습니다. 예를 들어, $\text{C}^{3}$G-NeRF는 $\text{128}^{2}$ 해상도의 3차원 인식 얼굴 이미지 합성에서 Fréchet Inception Distance (FID) 7.64를 기록했습니다. 또한, 각 데이터셋의 클래스별로 생성된 3차원 인식 이미지의 FID 값을 제공하며, $\text{C}^{3}$G-NeRF를 사용하여 클래스 조건부 이미지를 합성할 수 있습니다.

클래스-연속 조건부 생성적 신경 방사선 필드 | 최신 연구 논문 | HyperAI초신경