DreamID：基于三元组身份组学习的高保真快速扩散人脸交换

本文介绍了DreamID，一种基于扩散模型的面部交换方法，该方法在身份相似度、属性保留、图像保真度和快速推理速度方面达到了高水平。与传统的面部交换训练过程不同，后者通常依赖隐式监督，难以取得令人满意的结果。DreamID通过构建三元组身份组（Triplet ID Group）数据建立了显式的面部交换监督，显著提高了身份相似度和属性保留。扩散模型的迭代性质给高效利用图像空间损失函数带来了挑战，因为在训练过程中进行耗时的多步采样以获得生成图像是不切实际的。为了解决这一问题，我们采用了加速扩散模型SD Turbo，将推理步骤减少到单次迭代，从而实现了高效的像素级端到端训练，并结合了显式的三元组身份组监督。此外，我们提出了一种改进的扩散模型架构，包括SwapNet、FaceNet和ID Adapter组件。这种稳健的架构充分发挥了三元组身份组显式监督的优势。最后，为了进一步扩展我们的方法，我们在训练过程中显式地修改了三元组身份组数据，以微调并保留特定属性，如眼镜和脸型。大量实验表明，DreamID在身份相似度、姿态和表情保留以及图像保真度方面优于现有最先进方法。总体而言，DreamID仅需0.6秒即可在512*512分辨率下实现高质量的面部交换结果，并且在复杂光照、大角度和遮挡等具有挑战性的场景中表现出色。