비행체-지상 카메라 네트워크 하에서 사람 재식별을 위한 시점 분리형 Transformer

기존의 사람 재식별 기법들은 동질적인 카메라 간(예: 지상-지상 매칭) 외형 기반의 정체성 연관성 분석에서 뛰어난 성과를 달성하였다. 그러나 더 실용적인 시나리오인 이질적인 카메라 간 항공-지상 사람 재식별(AGPReID)에 대한 연구는 여전히 거의 이루어지지 않았다. AGPReID에서 가장 큰 도전 과제인 극적인 시점 차이에 의해 발생하는 구분력 있는 정체성 표현의 왜곡을 완화하기 위해, 간단하면서도 효과적인 프레임워크인 시점 분리형 트랜스포머(VDT)를 제안한다. VDT는 시점 관련 특징과 시점 무관 특징을 분리하기 위해 두 가지 주요 구성 요소를 설계하였다. 첫째, 계층적 빼기 분리(hierarchical subtractive separation)는 VDT 내부에서 두 특징을 분리한다. 둘째, 직교 손실(orthogonal loss)은 두 특징 간의 독립성을 제약한다. 또한, 다섯 대의 항공 카메라와 여덟 대의 지상 카메라, 5,000개의 정체성, 총 108,563장의 이미지를 포함하는 대규모 AGPReID 데이터셋인 CARGO를 제작하였다. 두 데이터셋에서의 실험 결과, VDT는 AGPReID에 대한 타당하고 효과적인 해결책임을 입증하였으며, CARGO 데이터셋에서는 mAP/Rank1에서 기존 방법 대비 최대 5.0%/2.7% 향상되었고, AG-ReID 데이터셋에서는 3.7%/5.2% 개선되었으며, 계산 복잡도는 동일한 수준을 유지하였다. 본 연구 프로젝트는 https://github.com/LinlyAC/VDT-AGPReID 에서 공개되어 있다.