SimSwap: 높은 정밀도 얼굴 교체를 위한 효율적인 프레임워크

우리는 일반화 가능성과 높은 사실성(fidelity)을 갖춘 얼굴 교체를 목표로 효율적인 프레임워크인 Simple Swap(SimSwap)을 제안한다. 기존의 접근 방식은 임의의 얼굴 정체성에 대해 일반화할 수 없거나, 얼굴 표정이나 시선 방향과 같은 특징을 유지하지 못하는 한계를 가지고 있었으나, 우리의 프레임워크는 임의의 소스 얼굴의 정체성을 임의의 타겟 얼굴에 전이하면서도 타겟 얼굴의 특징을 유지할 수 있다. 이러한 기존의 문제점을 다음과 같은 두 가지 방법으로 극복한다. 첫째, 소스 얼굴의 정체성 정보를 특징 수준에서 타겟 얼굴에 전이하는 ID 주입 모듈(ID Injection Module, IIM)을 제안한다. 이 모듈을 통해 특정 정체성에 특화된 얼굴 교체 알고리즘의 아키텍처를 임의의 얼굴 교체를 위한 프레임워크로 확장한다. 둘째, 얼굴 특징을 암묵적인 방식으로 효과적으로 유지하는 데 기여하는 약한 특징 매칭 손실(Weak Feature Matching Loss)을 제안한다. 실제 환경에서의 다양한 얼굴에 대한 광범위한 실험 결과, SimSwap은 기존 최고 수준의 방법들보다 우수한 정체성 성능을 달성하면서도 얼굴 특징을 더 잘 유지함을 입증하였다. 코드는 이미 GitHub에 공개되어 있으며, 다음 링크에서 확인할 수 있다: https://github.com/neuralchen/SimSwap.