초록
이 논문은 인간 주제의 몇 개의 예시 이미지만으로도 새로운 자세, 예를 들어 얼굴 표정이나 방향의 변화를 통해 이미지를 생성하는 새로운 모델을 제시한다. 기존의 접근 방식이 특정 개인에 대한 대규모 데이터셋을 학습에 필요로 했던 것과 달리, 본 연구의 방법은 이미지 수가 매우 적은 경우, 심지어 단 하나의 이미지에서도 시작할 수 있다. 이를 위해 우리는 소스 이미지들 간에 추출된 공간적 특징 정보를 통합하여 사용하는 특성 적응형 정체성 정규화 GAN(Characteristic Adaptive Identity Normalization GAN, CainGAN)을 제안한다. 이 모델은 조건부 정규화를 적용하여 정체성 정보를 네트워크 전반에 걸쳐 전파한다. 광범위한 적대적 학습을 거친 후, CainGAN은 특정 개인의 얼굴 이미지를 입력으로 받아 그 사람의 정체성을 유지하면서도 새로운 얼굴 이미지를 생성할 수 있다. 실험 결과, 추론 시 사용된 입력 이미지 세트의 크기가 클수록 생성된 이미지의 품질이 향상됨을 확인할 수 있었다. 또한, 정량적 평가 결과에 따르면, 훈련 데이터가 제한적인 상황에서 다른 기존 방법들에 비해 CainGAN가 더 우수한 성능을 발휘함을 확인할 수 있었다.