基于组合辅助的GAN实现逼真的人脸照片-素描合成

面部照片素描合成旨在根据给定的照片或素描生成相应的面部素描或照片。该技术在数字娱乐和执法领域具有广泛的应用前景。然而，精确描绘面部照片或素描仍然面临挑战，主要原因是结构真实性和纹理一致性方面的限制。尽管现有方法已经取得了令人信服的结果，但它们大多会产生模糊效果和各种面部组件的显著变形，导致合成图像显得不真实。为了解决这一难题，本文提出利用面部组成信息来辅助面部照片素描的合成。具体而言，我们提出了一种新颖的基于组成信息的生成对抗网络（Composition-Aided Generative Adversarial Network, CA-GAN）用于面部照片素描合成。在CA-GAN中，我们利用配对输入，包括一张面部照片或素描及其对应的像素级面部标签来生成素描或照片。此外，为了专注于训练难以生成的组件和精细的面部结构，我们提出了一种组成重建损失函数。最后，我们使用堆叠的CA-GAN（Stacked Composition-Aided Generative Adversarial Network, SCA-GAN）进一步修正缺陷并添加逼真的细节。实验结果表明，我们的方法能够在广泛的具有挑战性的数据上生成视觉舒适且保持身份特征的面部素描或照片。我们的方法达到了当前最佳的质量水平，大幅降低了最佳先前的弗雷歇 inception 距离（Frechet Inception Distance, FID）。此外，我们还展示了所提方法具有较强的泛化能力。我们的代码和结果已公开发布：https://fei-hdu.github.io/ca-gan/。