시간적 지식 전파를 이용한 이미지-비디오 개인 재식별

다양한 Person Re-identification (Re-ID) 시나리오에서 갤러리 세트는 많은 감시 비디오로 구성되고, 쿼리는 단지 이미지일 뿐이므로 Re-ID는 이미지와 비디오 사이에서 수행되어야 합니다. 비디오에 비해 고정된 사람 이미지는 시간적 정보를 부족합니다. 또한, 이미지와 비디오 특성 사이의 정보 불균형은 이미지와 비디오 매칭의 어려움을 증가시킵니다. 이 문제를 해결하기 위해, 우리는 새로운 Temporal Knowledge Propagation (TKP, 시간적 지식 전파) 방법을 제안합니다. 이 방법은 비디오 표현 네트워크가 학습한 시간적 지식을 이미지 표현 네트워크로 전달합니다. 구체적으로, 입력된 비디오를 주어졌을 때, 공유된 특성 공간에서 이미지 표현 네트워크의 출력이 비디오 표현 네트워크의 출력에 맞도록 강제합니다. 역전파를 통해 시간적 지식은 전송되어 이미지 특성을 향상시키고 정보 불균형 문제를 완화할 수 있습니다. 추가적인 분류 및 통합 트립렛 손실을 사용함으로써, 우리의 모델은 이미지-비디오 재식별을 위한 표현력 있고 차별적인 이미지와 비디오 특성을 학습할 수 있습니다. 광범위한 실험 결과는 우리 방법의 효과성을 입증하며, 두 개의 일반적으로 사용되는 데이터셋에서 전체 결과가 기존 최신 방법들보다 크게 우수함을 보여줍니다. 코드는 다음 링크에서 확인 가능합니다: https://github.com/guxinqian/TKP