TransReID: 기반 Transformer 객체 재식별

객체 재식별(Object Re-identification, ReID)에서 강건한 특징 표현을 추출하는 것은 핵심 과제 중 하나이다. 기존의 컨볼루션 신경망(Convolutional Neural Network, CNN) 기반 방법들은 뛰어난 성과를 달성하고 있으나, 한 번에 하나의 국소적 이웃 영역만 처리하며, 풀링 및 스트라이드 컨볼루션과 같은 연산에 의해 세부 정보 손실이 발생하는 문제가 있다. 이러한 한계를 극복하기 위해, 본 연구에서는 순수한 트랜스포머 기반의 객체 ReID 프레임워크인 TransReID를 제안한다. 구체적으로, 이미지를 패치 시퀀스로 인코딩한 후, 몇 가지 핵심적인 개선을 통해 트랜스포머 기반의 강력한 베이스라인을 구축하였으며, 이는 CNN 기반 방법들과 비교하여 여러 ReID 벤치마크에서 경쟁력 있는 성능을 달성하였다. 트랜스포머 기반의 강건한 특징 학습을 더욱 향상시키기 위해 두 가지 새로운 모듈을 설계하였다. (i) 조각 패치 모듈(Jigsaw Patch Module, JPM)은 이동(shift) 및 패치 셔플(patch shuffle) 연산을 통해 패치 임베딩을 재구성함으로써, 더 높은 구분 능력과 더 다양한 커버리지를 갖는 강건한 특징을 생성한다. (ii) 보조 정보 임베딩(Side Information Embeddings, SIE)은 학습 가능한 임베딩을 도입하여 카메라 또는 시점 변화에 따른 특징 편향을 완화함으로써, 시각 외의 비시각적 정보를 효과적으로 통합한다. 본 연구는 순수한 트랜스포머를 ReID 연구에 도입한 최초의 작업으로 알려져 있다. TransReID의 실험 결과는 매우 우수하며, 사람 및 차량 ReID 벤치마크 모두에서 최신 기술(SOTA, State-of-the-Art) 수준의 성능을 달성하였다.