초록
열 영상과 가시광 영상 간의 크로스 모달 얼굴 일치는 야간 감시 및 보안 응용 분야에서 매우 필요한 기능입니다. 매우 큰 모달 차이 때문에 열영상-가시광 영상 얼굴 인식은 가장 어려운 얼굴 일치 문제 중 하나입니다. 본 논문에서는 이 모달 차이를 크게 줄이는 접근 방식을 제시합니다. 우리의 접근 방식은 깊은 신경망을 사용하여 두 모달 간의 높게 비선형적인 관계를 포착합니다. 우리의 모델은 가시광 스펙트럼에서 열 스펙트럼으로의 비선형 매핑을 학습하면서 식별 정보를 유지하려고 합니다. 우리는 세 가지 어려운 열-가시광 얼굴 데이터셋에서 실질적인 성능 향상을 보여줍니다. 제시된 접근 방식은 UND-X1 데이터셋에서 최신 연구보다 10% 이상, NVESD 데이터셋에서는 15-30% 이상 Rank-1 식별 성능을 개선했습니다. 우리의 방법은 모달 차이로 인한 성능 저하를 40% 이상 줄였습니다.