2달 전

특징 제거 및 확산 네트워크를 이용한 가림된 사람 재식별

Zhikang Wang; Feng Zhu; Shixiang Tang; Rui Zhao; Lihuo He; Jiangning Song
특징 제거 및 확산 네트워크를 이용한 가림된 사람 재식별
초록

被摭挡人员再识别(ReID)는 다른 카메라 뷰에서 부분적으로 가려진 사람 이미지를 전체적인 이미지와 일치시키는 것을 목표로 합니다. 대상 보행자(TP)는 일반적으로 비보행자 가림(NPO)과 비대상 보행자(NTP)에 의해 방해를 받습니다. 이전 방법들은 주로 모델의 NPO에 대한 견고성을 향상시키는 데 초점을 맞추었지만, NTP로부터의 특성 오염은 무시되었습니다. 본 논문에서는 NPO와 NTP를 동시에 처리하기 위한 새로운 특성 제거 및 확산 네트워크(FED)를 제안합니다. 특히, 제안된 가림 제거 모듈(OEM)을 통해 NPO 특성이 제거되며, 이를 지원하기 위해 전체 보행자 이미지에서 NPO를 시뮬레이션하고 정확한 가림 마스크를 생성하는 NPO 증강 전략이 사용됩니다. 그 다음, 우리는 학습 가능한 크로스 어텐션 메커니즘을 통해 새로운 특성 확산 모듈(FDM)을 활용하여, 다른 기억된 특성들과 함께 보행자의 표현을 확산시켜 특성 공간에서 NTP의 특성을 합성합니다. OEM으로부터 얻은 가림 점수의 안내 하에, 특성 확산 과정은 주로 가려지지 않은 신체 부위에서 이루어져 합성된 NTP 특성의 품질을 보장합니다. 제안된 FED 네트워크에서 OEM과 FDM를 공동으로 최적화함으로써, 우리는 TP에 대한 모델의 인식 능력을 크게 향상시키고 NPO와 NTP의 영향을 완화할 수 있습니다. 또한, 제안된 FDM은 훈련용 보조 모듈로서만 작동하며 추론 단계에서는 폐기되므로 추론 시 계산 부담이 거의 없습니다. 부분적으로 가려진 사람과 전체적인 사람 ReID 벤치마크에서 수행한 실험 결과, FED가 기존 최신 기술보다 우수함을 입증하였습니다. FED는 Occluded-REID 데이터셋에서 86.3%의 Rank-1 정확도를 달성하였으며, 다른 방법들보다 최소 4.7% 이상 높았습니다.