11 天前

AOT:基于外观最优传输的身份替换用于伪造检测

Hao Zhu, Chaoyou Fu, Qianyi Wu, Wayne Wu, Chen Qian, Ran He
AOT:基于外观最优传输的身份替换用于伪造检测
摘要

近期研究表明,通过使用多样且具有挑战性的深度伪造(Deepfake)数据集,可以有效提升伪造检测的性能。然而,由于当前缺乏在外观上具有显著差异的Deepfake数据集——而这类差异难以通过现有的身份替换方法生成——导致检测算法在面对真实世界中广泛存在的光照条件与肤色差异时可能失效。针对这一问题,本文提出一种新型的身份替换算法,能够在外观上产生显著差异,以增强人脸伪造检测的鲁棒性。这些外观差异主要源于真实场景中普遍存在的光照条件和肤色的巨大差异。然而,由于复杂外观映射关系建模的困难,如何在保持身份特征不变的前提下,自适应地迁移细粒度外观,仍是极具挑战性的问题。为此,本文将外观映射建模为一个最优传输(Optimal Transport)问题,并提出一种外观最优传输模型(Appearance Optimal Transport, AOT),在潜在空间(latent space)与像素空间(pixel space)中均实现该建模。具体而言,本文设计了一种光照重置生成器(relighting generator),用于模拟最优传输方案。该方案通过最小化潜在空间中学习特征的Wasserstein距离来求解,相较于传统优化方法,不仅性能更优,且计算开销更低。为进一步优化最优传输方案的求解质量,本文还引入一种分割博弈机制(segmentation game),在像素空间中最小化Wasserstein距离。该机制通过引入一个判别器,用于区分由真实与伪造图像块混合组成的区域,从而提升生成图像的逼真度与区分度。大量实验结果表明,与当前最先进的方法相比,本文提出的方法在生成具有高外观差异的伪造图像方面具有显著优势,且所生成的数据能够有效提升人脸伪造检测算法的性能,验证了其在实际应用中的有效性与推广潜力。

AOT:基于外观最优传输的身份替换用于伪造检测 | 最新论文 | HyperAI超神经