반감독적 적대학습을 이용한 3D 변형모델로부터 새로운 신원의 사진같은 얼굴 이미지 생성

우리는 새로운 신원의 다양한 표정, 자세 및 조명을 가진 사진 같은 얼굴 이미지를 생성하기 위해 3D 변형 모델에 의해 조건부로 제어되는 혁신적인 엔드투엔드 반감독 적대적 프레임워크를 제안합니다. 이전의 적대적 스타일 전환 방법들은 대량의 짝지어진 데이터로 네트워크를 감독하거나, 대량의 비짝지어진 데이터와 함께 매우 제약이 부족한 양방향 생성 프레임워크를 비감독 방식으로 사용하였습니다. 우리는 훈련 과정에서 소량의 짝지어진 실제 이미지와 합성 이미지를 사용하여 양방향 도메인 적응을 제약하는 쌍별 적대적 감독을 소개합니다.다양한 질적 및 양적 실험을 수행하여 우리의 아이디어를 검증하였습니다. 새롭게 생성된 얼굴 이미지는 자세, 조명 및 표정 다양성을 포함하며, 질적 결과는 합성 입력 이미지에 대해 높은 제약력을 유지하면서 사진 같은 현실감과 신원 정보를 보존함을 보여줍니다. 우리는 제안된 방법으로 생성된 얼굴 이미지를 실제 데이터 세트와 결합하여 얼굴 인식 알고리즘을 훈련시키고 있습니다.우리는 이 모델을 두 개의 어려운 데이터 세트인 LFW(Labeled Faces in the Wild)와 IJB-A(YouTube Faces in the Wild)에서 평가하였습니다. 우리의 프레임워크에서 생성된 이미지는 옥스퍼드 VGG Face 데이터 세트로 훈련된 깊은 얼굴 인식 네트워크의 성능을 일관되게 개선하며, 최신 기술과 유사한 결과를 달성하였습니다.