텍스처에 민감하지 않은 사람 재식별을 위한 3D 샤프 기능 학습

사람 재식별(Person ReID)이 옷차림과 같은 시각적 질감 정보에 크게 의존한다는 점은 널리 인정된 사실이다. 최근 몇 년간 상당한 진전이 있었음에도 불구하고, 옷을 갈아입는 경우나 동일한 옷을 입은 사람들의 경우와 같이 질감이 혼동되는 상황에 대해 기존의 대부분의 ReID 방법들은 거의 주목하지 못하고 있다. 본 논문에서는 질감 기반 정보에 의존하지 않고, 사람의 3D 형태 정보를 활용함으로써 옷차림 질감에 대한 강건성을 향상시키는 새로운 접근을 제안한다. 기존의 ReID를 위한 3D 형태 학습 방식은 사람의 3D 정보를 무시하거나, 3D 원천 데이터를 수집하기 위해 추가적인 물리적 장비를 필요로 하는 경우가 많다. 반면, 우리는 2D 이미지로부터 질감에 민감하지 않은 3D 형태 임베딩을 직접 추출할 수 있는 새로운 ReID 학습 프레임워크를 제안한다. 이 프레임워크는 보조 작업 및 정규화로 3D 신체 재구성(3D body reconstruction)을 도입한 것으로, 이를 3D 형태 학습(3DSL, 3D Shape Learning)이라 명명한다. 3D 재구성 기반 정규화는 ReID 모델이 시각적 질감에서 3D 형태 정보를 분리하도록 유도하며, 구분 가능한 3D 형태 기반 ReID 특징을 학습하도록 한다. 3D 진짜(ground truth) 데이터의 부족 문제를 해결하기 위해, 진짜 레이블 없이도 3D 재구성을 수행할 수 있는 적대적 자기지도 학습 투영(Adversarial Self-supervised Projection, ASSP) 모델을 설계하였다. 일반 ReID 데이터셋과 질감 혼동 상황을 포함한 특수 데이터셋에서 실시한 광범위한 실험을 통해 제안한 모델의 효과성이 검증되었다.