摘要
跨模态热红外与可见光谱之间的人脸匹配能力对于夜间监控和安全应用具有重要意义。由于模态差异非常大，热红外到可见光谱的人脸识别是人脸匹配中最具挑战性的问题之一。在本文中，我们提出了一种方法，显著缩小了这一模态差距。我们的方法通过使用深度神经网络来捕捉两种模态之间的高度非线性关系。模型试图在保留身份信息的同时，学习从可见光谱到热红外光谱的非线性映射。我们在三个困难的热红外-可见光人脸数据集上展示了实质性的性能提升。所提出的方法在UND-X1数据集上的Rank-1识别率提升了超过10%，在NVESD数据集上的Rank-1识别率提升了超过15%-30%。我们的方法将因模态差距导致的性能下降缩小了超过40%。