摘要
异质人脸识别（HFR）旨在匹配从不同传感模式获取的人脸图像，其在法医学、安全和商业领域具有关键应用。然而，由于异质人脸图像内部类间差异较大以及跨模态人脸图像对的训练样本有限，HFR比传统的人脸识别更具挑战性。本文提出了一种新颖的方法，即Wasserstein卷积神经网络（WCNN），用于学习近红外和可见光人脸图像之间的不变特征（即NIR-VIS人脸识别）。WCNN的低层使用广泛可用的可见光谱人脸图像进行训练。高层分为三部分，即NIR层、VIS层和NIR-VIS共享层。前两层旨在学习特定模态的特征，而NIR-VIS共享层则设计用于学习模态不变的特征子空间。引入Wasserstein距离到NIR-VIS共享层中，以测量异质特征分布之间的不相似度。因此，WCNN的学习目标是在异质人脸图像之间实现NIR分布与VIS分布之间Wasserstein距离的最小化，从而获得不变的深度特征表示。为了避免在小规模异质人脸数据上出现过拟合问题，在WCNN网络的全连接层引入了相关先验来减少参数空间。这一先验通过在网络中端到端地施加低秩约束来实现。联合公式导致了在训练阶段对深度特征表示进行交替最小化，并在测试阶段对异质数据进行高效计算。在三个具有挑战性的NIR-VIS人脸识别数据库上的大量实验表明，Wasserstein卷积神经网络显著优于现有方法。