다중 모달 로컬 최단 경로 및 전역 향상 기법을 이용한 가시광-적외선 사람 재식별

가시광-열화상 크로스 모달 사람 재식별(VT-ReID) 작업에서 인간 자세와 가림 현상으로 인한 인식 난이도를 고려하는 것뿐만 아니라, 서로 다른 영상 시스템으로 인해 발생하는 모달 차이도 해결해야 합니다. 본 논문에서는 로컬 및 글로벌 특징의 공동 학습을 기반으로 하는 두 스트림 네트워크인 크로스 모달 로컬 최단 경로 및 글로벌 강화(CM-LSP-GE) 모듈을 제안합니다. 본 논문의 핵심 아이디어는 로컬 특징 정렬을 사용하여 가림 문제를 해결하고, 글로벌 특징을 강화하여 모달 차이를 해결하는 것입니다.먼저, 주의 메커니즘 기반의 두 스트림 ResNet 네트워크를 설계하여 이중 모달 특징을 추출하고 통합된 특징 공간에 매핑합니다. 그 다음, 크로스 모달 사람 자세와 가림 문제를 해결하기 위해 이미지를 수평으로 여러 개의 동일한 부분으로 나누어 로컬 특징을 얻고, 두 그래프 간의 로컬 특징에서 최단 경로를 사용하여 세밀한 로컬 특징 정렬을 수행합니다. 세 번째로, 배치 정규화 강화 모듈은 클래스 간에 다른 강화 효과를 가져오는 글로벌 특징 강화 전략을 적용합니다. 다중 측정 손실 융합 전략은 알고리즘의 성능을 더욱 향상시킵니다. 마지막으로, 로컬 및 글로벌 특징의 공동 학습 메커니즘이 크로스 모달 사람 재식별 정확도를 향상시키는 데 사용됩니다.두 가지 대표적인 데이터셋에서 수행된 실험 결과는 우리의 모델이 가장 최근의 방법들보다 명백히 우수함을 보여줍니다. 특히 SYSU-MM01 데이터셋에서, 우리의 모델은 Rank-1과 mAP(평균 평균 정밀도) 모든 검색 항목에서 각각 2.89%와 7.96%의 성능 향상을 달성할 수 있습니다. 소스 코드는 곧 공개될 예정입니다.