2달 전

가시광-열화상 사람 재식별을 위한 파라미터 공유 탐색 및 이종 중심 기반 트리플 로스

Liu, Haijun ; Tan, Xiaoheng ; Zhou, Xichuan
가시광-열화상 사람 재식별을 위한 파라미터 공유 탐색 및 이종 중심 기반 트리플 로스
초록

본 논문은 주간 가시광 영상과 야간 열화상 영상 간의 일치성을 확인하는 가시광-열화상 크로스 모달리티 사람 재식별(VT Re-ID) 작업에 초점을 맞추고 있습니다. VT Re-ID에서 가장 어려운 문제인 크로스 모달리티 차이를 해결하기 위해 일반적으로 두 스트림 네트워크가 사용됩니다. 이는 다중 모달리티 사람 특징을 학습함으로써 이루어집니다. 본 논문에서는 기존 문헌에서 충분히 연구되지 않은 두 스트림 네트워크의 파라미터 공유 범위를 탐구합니다.ResNet50 모델을 적절하게 분할하여 모달리티 특화된 특징 추출 네트워크와 모달리티 공유된 특징 임베딩 네트워크를 구성함으로써, 우리는 실험적으로 두 스트림 네트워크의 파라미터 공유가 VT Re-ID에 미치는 영향을 입증하였습니다. 또한, 부분 수준 사람 특징 학습 프레임워크에서 전통적인 트립렛 손실의 엄격한 제약을 완화하기 위해 앵커와 모든 샘플 간의 비교를 앵커 중심과 모든 다른 중심 간의 비교로 대체하는 이종 중심 기반 트립렛 손실(Hetero-center based triplet loss)을 제안하였습니다. 이러한 극히 단순한 방법으로 제안된 접근법은 VT Re-ID 성능을 크게 향상시킬 수 있음을 보여주었습니다.두 데이터셋에서 수행된 실험 결과, 제안된 방법이 기존 최신 방법론보다 크게 우수한 성능을 나타내었으며, 특히 RegDB 데이터셋에서 뛰어난 성능(1위 순위/rank1: 91.05%, 평균 정밀도/mAP: 83.28%, 평균 순위 인덱스/mINP: 68.84%)을 달성하였습니다. 이는 단순하면서도 효과적인 전략으로, VT Re-ID에 대한 새로운 기준점이 될 수 있을 것입니다.