실제 얼굴 사진-스케치 합성을 위한 구성 보조 GANs를 통한 접근

얼굴 사진-스케치 합성은 주어진 사진 또는 스케치를 기반으로 얼굴 스케치 또는 사진을 생성하는 것을 목표로 합니다. 이는 디지털 엔터테인먼트와 법 집행 등 다양한 분야에서 널리 응용되고 있습니다. 구조적 사실감과 질감 일관성을 유지하면서 정확하게 얼굴 사진이나 스케치를 묘사하는 것은 여전히 어려운 문제입니다. 기존 방법들은 대부분 뛰어난 결과를 얻지만, 다양한 얼굴 부위에서 흐림 효과와 큰 변형이 발생하여 합성된 이미지가 비현실적으로 느껴집니다. 이러한 도전 과제를 해결하기 위해 본 연구에서는 얼굴 구성 정보를 활용하여 얼굴 스케치 또는 사진의 합성을 돕는 새로운 접근 방안을 제안합니다. 특히, 우리는 새로운 구성 보조 생성 적대 신경망 (Composition-Aided Generative Adversarial Network, CA-GAN)을 제안합니다.CA-GAN에서는 얼굴 사진 또는 스케치와 해당하는 픽셀 단위의 얼굴 라벨을 포함한 짝을 이루는 입력들을 사용하여 스케치 또는 사진을 생성합니다. 또한, 훈련 시 어려운 부분과 섬세한 얼굴 구조에 초점을 맞추기 위해 구성 재구성 손실(compositional reconstruction loss)을 제안합니다. 마지막으로, 스택된 CA-GANs (Stacked CA-GAN, SCA-GAN)를 사용하여 결함을 더욱 교정하고 강력한 세부 사항을 추가합니다. 실험 결과, 우리의 방법은 다양한 어려운 데이터에서 시각적으로 편안하고 신원을 유지하는 얼굴 스케치 및 사진을 생성할 수 있음을 보여줍니다. 우리의 방법은 최고의 이전 Fréchet Inception Distance (FID) 값을 크게 줄이는 최신 수준의 품질을 달성하였습니다. 또한, 제안된 방법이 상당한 일반화 능력을 가지고 있음을 입증하였습니다. 코드와 결과는 공개적으로 이용 가능합니다: https://fei-hdu.github.io/ca-gan/.