AOT: 외형 최적 운송 기반 정체성 교체를 통한 위조 탐지

최근 연구들은 다양한 심층 가짜(Deepfakes) 데이터셋을 활용할 경우 가짜 탐지 성능이 향상될 수 있음을 보여주었다. 그러나 최근의 정체성 교환 기법으로는 외형적 차이가 크고 다양한 조건을 반영하는 Deepfakes 데이터셋을 쉽게 생성하기 어렵기 때문에, 실제 환경에서 흔히 발생하는 조명 조건과 피부 색상의 큰 차이를 반영하지 못한 데이터셋을 기반으로 한 탐지 알고리즘이 실패할 수 있다. 본 연구에서는 외형적 차이가 큰 정체성 교환 알고리즘을 제안하여 얼굴 가짜 탐지 성능을 향상시키고자 한다. 이러한 외형적 차이의 주요 원인은 현실 세계에서 흔히 존재하는 조명 조건과 피부 색상의 큰 차이에 기인한다. 그러나 복잡한 외형 매핑을 모델링하는 데 어려움이 있으며, 정체성 특성을 유지하면서 세부적인 외형을 적응적으로 전이하는 것은 여전히 도전적인 과제이다. 본 논문은 외형 매핑을 최적 운송 문제(optimal transport problem)로 공식화하고, 잠재 공간(latent space)과 픽셀 공간(pixel space)에서 이를 모델링하는 Appearance Optimal Transport 모델(AOT)을 제안한다. 구체적으로, 최적 운송 계획을 시뮬레이션하기 위해 재조명 생성기(relighting generator)를 설계하였으며, 이는 잠재 공간에서 학습된 특성 간의 워셔스타인 거리(Wasserstein distance)를 최소화함으로써 해결된다. 이 방법은 기존의 최적화 기법에 비해 더 우수한 성능과 더 낮은 계산량을 제공한다. 또한 최적 운송 계획의 해를 더욱 정교하게 개선하기 위해 픽셀 공간에서 워셔스타인 거리를 최소화하는 세그멘테이션 게임(segmentation game)을 개발하였다. 여기서 판별기(discriminator)는 진짜와 가짜 이미지 패치의 혼합물에서 가짜 부분을 구분하도록 설계되었다. 광범위한 실험 결과는 제안하는 방법이 최첨단 기법들과 비교해 우수한 성능을 보이며, 생성된 데이터가 얼굴 가짜 탐지 성능을 향상시키는 데 기여함을 입증하였다.