의류 변경을 고려한 사람 재식별을 위한 공동 주의 집중 상호 교차 주의 맵핑

사람 재식별(Person re-identification, Re-ID)은 널리 연구되어 왔으며 중요한 성과를 거두었다. 그러나 기존의 사람 Re-ID 기법은 주로 옷차림에 따른 색채적 외형 특징에 의존하는 경향이 있으며, 현실 세계에서 사람들의 옷이 바뀌는 상황에서는 이러한 특징이 신뢰할 수 없게 된다. 옷을 갈아입는 경우를 고려한 사람 Re-ID는 최근 점점 더 많은 관심을 받고 있으나, 옷이 바뀜에 따라 이미지 특징 공간 내에서 클래스 내 변동성(intra-class variation)이 커지고 클래스 간 차이(inter-class)가 작아지는 문제로 인해, 구분 가능한 사람 정체성 특징을 학습하는 것이 더욱 어렵다. 외형 특징 외에도, 이미지 내에 몸체 형태(body shapes)와 같은 사전에 알려진 정체성 관련 특징이 암묵적으로 포함될 수 있다. 본 논문에서는 옷이 바뀌었을 때 보행자를 구분하는 데 중요한 단서 중 하나인 몸체 형태의 의미 정보를 인코딩하기 위해 새로운 형태의 의미 임베딩(Shape Semantics Embedding, SSE) 모듈을 제안한다. 또한 이미지 특징을 더 효과적으로 보완하기 위해, 공-어텐션 기반의 상호 교차 어텐션(Co-attention Aligned Mutual Cross-attention, CAMC) 프레임워크를 제안한다. 기존의 어텐션 기반 융합 전략과 달리, 본 프레임워크는 먼저 다양한 모달리티의 특징을 정렬한 후, 이미지 공간과 몸체 형태 공간 간에 정체성에 민감하지만 옷에 무관한 지식을 효과적으로 상호작용하고 전달함으로써 더 강건한 특징 표현을 가능하게 한다. 우리 지식에 따르면, 본 연구는 옷 갈아입기 상황에서의 다중 모달 상호작용을 다루기 위해 트랜스포머(Transformer)를 활용한 최초의 작업이다. 광범위한 실험을 통해 제안한 방법의 효과성을 입증하였으며, 여러 옷 갈아입기 상황을 고려한 사람 Re-ID 벤치마크에서 뛰어난 성능을 달성함을 보였다. 코드는 https://github.com/QizaoWang/CAMC-CCReID 에 공개될 예정이다.