16일 전

제약 없는 얼굴 인식을 위한 제어 가능하고 안내 가능한 얼굴 합성

Feng Liu, Minchul Kim, Anil Jain, Xiaoming Liu
제약 없는 얼굴 인식을 위한 제어 가능하고 안내 가능한 얼굴 합성
초록

얼굴 인식(FR) 분야에서 상당한 발전이 이루어졌지만, 반제약적 훈련 데이터셋과 비제약적 테스트 환경 사이의 도메인 갭으로 인해 비제약 환경에서의 얼굴 인식은 여전히 도전적인 과제이다. 이 문제를 해결하기 위해, 우리는 스타일 잠재 공간(styled latent space) 내에서 타겟 데이터셋의 분포를 모방할 수 있는 조절 가능한 얼굴 합성 모델(CFSM)을 제안한다. CFSM는 스타일 잠재 공간 내에서 정규직교 기저를 가진 선형 부분공간을 학습함으로써 합성의 다양성과 합성 정도를 정밀하게 조절할 수 있다. 또한, 사전 훈련된 합성 모델은 FR 모델에 의해 안내될 수 있어, 생성된 이미지가 FR 모델 훈련에 더 유용하게 활용될 수 있다. 더불어, 학습된 정규직교 기저를 통해 타겟 데이터셋의 분포를 특성화할 수 있으며, 이를 활용하여 다양한 얼굴 데이터셋 간의 분포 유사도를 측정할 수 있다. 제안하는 방법은 IJB-B, IJB-C, TinyFace, IJB-S와 같은 비제약 기준에서 뛰어난 성능 향상을 보이며, Rank1 성능에서 평균 +5.76%의 향상을 달성한다.

제약 없는 얼굴 인식을 위한 제어 가능하고 안내 가능한 얼굴 합성 | 최신 연구 논문 | HyperAI초신경