공간적이고 시간적으로 효율적인 비국소적 주의 네트워크를 이용한 동영상 기반 개인 재식별

비디오 기반 사람 재식별(Re-ID)은 비중복 카메라 간 보행자의 비디오 시퀀스를 일치시키는 것을 목표로 합니다. 이는 공간적 및 시간적 정보를 비디오의 특징 표현에 어떻게 임베딩할 것인지를 다루는 실용적이면서도 도전적인 과제입니다. 기존의 대부분 방법들은 이미지 단위 특징을 집계하고 신경망에서 주의 메커니즘을 설계하여 비디오 특성을 학습하지만, 이들 방법은 고차원 특성에서만 프레임 간 상관관계를 탐색합니다. 본 연구에서는 비국소 주의 연산을 사용하여 중간 특성뿐만 아니라 고차원 특성도 정교화하는 두 가지 공헌을 제시합니다. (i) 우리는 여러 특징 수준에서 비디오 특성을 표현에 통합하기 위한 비국소 비디오 주의 네트워크(NVAN)를 제안합니다. (ii) 또한, 보행자 비디오에서 나타나는 공간적 및 시간적 중복성을 활용하여 계산 복잡도를 줄이는 공간적이고 시간적으로 효율적인 비국소 비디오 주의 네트워크(STE-NVAN)를 소개합니다. 광범위한 실험 결과, 우리의 NVAN은 MARS 데이터셋에서 1등 정확도가 3.8% 향상되었으며, STE-NVAN이 기존 방법보다 훨씬 우수한 계산 효율성을 보임을 확인하였습니다.