이중 에이전트 GAN을 활용한 사실적으로 구현된 신원 보존 프로파일 얼굴 합성

실제와 유사한 측면 얼굴을 합성하는 것은 극단적인 자세를 가진 샘플을 보완함으로써 인식 가능한 대규모 비제약 조건 하의 얼굴 인식을 위한 심층적 자세 불변 모델을 보다 효율적으로 훈련시키는 데 유망하며, 번거로운 레이블링 작업을 피할 수 있다. 그러나 합성 얼굴 이미지와 실제 얼굴 이미지 간의 분포 차이로 인해 합성 얼굴에서 학습하는 것은 원하는 성능을 달성하지 못할 수 있다. 이러한 격차를 좁히기 위해, 우리는 실재 얼굴 이미지(라벨 없음)를 활용하여 얼굴 시뮬레이터의 출력 결과물의 현실성을 향상시키면서도 정체성 정보를 유지할 수 있는 이중 에이전트 생성적 적대망(Dual-Agent Generative Adversarial Network, DA-GAN) 모델을 제안한다. 이 모델의 이중 에이전트는 실제와 가짜를 동시에 구분하고 정체성을 식별하는 데 특화되어 있다. 특히, 다양한 자세를 가진 측면 얼굴 이미지를 생성하기 위해 사전 구축된 3D 얼굴 모델을 시뮬레이터로 활용한다. DA-GAN은 고해상도 이미지를 생성하기 위해 전연결 컨볼루션 네트워크를 생성기로 사용하고, 이중 에이전트를 갖춘 오토인코더를 판별기로 활용한다. 제안하는 새로운 아키텍처 외에도, 자세와 질감을 유지하고 정체성을 보존하며 훈련 과정의 안정성을 확보하기 위해 기존 GAN에 다음과 같은 핵심적 개선 사항을 도입하였다: (i) 자세 인지 손실, (ii) 정체성 인지 손실, (iii) 경계 균형 정규화 항을 포함한 적대적 손실. 실험 결과는 DA-GAN이 뛰어난 시각적 성능을 보이는 것은 물론, 대규모且 도전적인 NIST IJB-A 비제약 얼굴 인식 벤치마크에서 기존 최고 수준의 기법들을 크게 능가함을 입증한다. 더불어, 제안된 DA-GAN은 일반적인 전이 학습 문제를 보다 효과적으로 해결하는 새로운 접근법으로서도 큰 잠재력을 지닌다.