Disentangled Variational Representation for Heterogeneous Face Recognition 이질적 얼굴 인식을 위한 분리된 변분 표현

가시광(VIS)에서 근적외선(NIR) 얼굴 매칭은 두 영역 간의 큰 차이와 교차 모달 매칭 알고리즘을 훈련시키기 위한 충분한 데이터 부족으로 인해 어려운 문제입니다. 기존 접근 방식들은 NIR 얼굴에서 VIS 얼굴을 합성하거나, 이 모달들로부터 영역 불변 특징을 추출하거나, 이질적인 데이터를 교차 모달 매칭을 위해 공통 잠재 공간으로 투영하는 방법으로 이 문제를 해결하려고 시도합니다. 본 논문에서는 이러한 접근 방식과는 달리 분리된 변동 표현(Disentangled Variational Representation, DVR)을 활용하여 교차 모달 매칭을 수행하는 새로운 방법을 제안합니다.첫째, 우리는 내재적 신원 정보와 개인 내 변동성을 포함하는 얼굴 표현 모델을 구축합니다. 분리된 잠재 변수 공간 탐색을 통해 NIR 및 VIS 표현에 대한 근사 사후 확률을 최적화하기 위해 변동 하위 경계(variational lower bound)를 사용합니다. 둘째, 더 밀집되고 구별력 있는 분리된 잠재 공간을 얻기 위해 동일한 주체에 대한 신원 정보의 최소화와 NIR 및 VIS 모달 변동성 간의 완화된 상관 정렬 제약(relaxed correlation alignment constraint)을 부과합니다.분리된 변동 표현 부분과 이질적인 얼굴 인식 네트워크 부분에 대해 대체 최적화 방안(alternative optimization scheme)이 제안되었습니다. 이 두 부분 사이의 상호 촉진은 효과적으로 NIR와 VIS 영역 간의 차이를 줄이고 과적합(over-fitting)을 완화합니다. 세 개의 도전적인 NIR-VIS 이질 얼굴 인식 데이터베이스에서 수행된 광범위한 실험 결과, 제안된 방법이 기존 최신 방법들보다 유의미한 개선 효과를 보였습니다.