摘要
密集跨物种人脸嵌入（Dense Interspecies Face Embedding, DIFE）是一种理解多种动物面部特征的新方法，旨在从包括人类在内的各类动物面部中提取共性特征。跨物种人脸理解面临三大主要挑战：（1）与人类数据相比，动物数据严重匮乏；（2）不同动物面部之间的关联关系模糊不清；（3）物种间存在极端的形状与风格差异。为应对数据稀缺问题，我们采用基于对比学习增强（CSE）与StyleGAN2的多教师知识蒸馏框架，该方法无需额外数据或标签即可实现有效学习。随后，通过探索StyleGAN2的潜在空间，生成伪配对图像，以挖掘不同动物面部之间的隐式关联。最后，引入语义匹配损失（semantic matching loss），有效缓解物种间极端形状差异带来的挑战。为定量评估本方法相较于以往无监督关键点检测等技术的优越性，我们在MAFL和AP-10K数据集上进行了跨物种人脸关键点迁移实验。此外，本文还展示了该方法在跨物种人脸图像编辑与密集关键点迁移等其他应用中的出色表现。代码已开源，地址为：https://github.com/kingsj0405/dife。