FaceDancer: 자세 및 가림에 민감한 고해상도 얼굴 교체

본 연구에서는 주제에 구애받지 않는 얼굴 교체 및 정체성 전달을 위한 새로운 단계별 방법, 즉 FaceDancer을 제안한다. 본 연구의 주요 기여는 두 가지이다. 첫째, 적응형 특징 융합 주의(Adaptive Feature Fusion Attention, AFFA)이며, 둘째, 해석 가능한 특징 유사도 정규화(Interpreted Feature Similarity Regularization, IFSR)이다. AFFA 모듈은 디코더 내부에 내장되어, 추가적인 얼굴 세그멘테이션 과정 없이도 정체성 정보에 조건부된 특징과 속성 특징을 적응적으로 융합하는 방식으로 학습한다. IFSR에서는 정체성 인코더의 중간 단계 특징을 활용하여, 대상 얼굴에 대한 머리 자세, 얼굴 표정, 조명, 가림 현상과 같은 중요한 특징을 유지하면서도, 원본 얼굴의 정체성을 높은 정밀도로 전달한다. 다양한 데이터셋을 대상으로 광범위한 정량적 및 정성적 실험을 수행한 결과, 제안한 FaceDancer가 다른 최신 기술들에 비해 정체성 전달 성능에서 뛰어나며, 이전 대부분의 방법들에 비해 훨씬 우수한 자세 유지 능력을 보임을 확인하였다.