실세계 이미지에서 3D 캐릭터로 의상 복제를 통한 일반화 가능한 사람 재식별

최근, 대규모 합성 데이터셋이 일반화된 사람 재식별에 매우 유용하다는 것이 입증되었습니다. 그러나 기존 데이터셋에서 합성된 사람은 대부분 만화풍이며 무작위로 옷을 입혀져 있어 성능에 제한을 주고 있습니다. 이를 해결하기 위해 본 연구에서는 실제 사람 이미지에서 가상의 3D 캐릭터로 전체 의상을 직접 복제하는 자동 방법을 제안합니다. 이렇게 생성된 모든 가상 사람이 실제 세계의 대응 인물과 매우 유사하게 보이도록 하는 것입니다.구체적으로, UV 텍스처 매핑 기법을 기반으로 두 가지 복제 방법이 설계되었습니다. 이 방법들은 등록된 의복 매핑(registered clothes mapping)과 균일한 의복 확장(homogeneous cloth expansion)입니다. 사람 이미지에서 검출된 의복 특징점과 명확한 의복 구조를 갖춘 정형 UV 맵에 라벨링된 정보를 바탕으로, 등록된 매핑은 실제 세계의 의복을 UV 맵 상의 대응 부분으로 왜곡 변환(perspective homography)합니다. 한편, 시야 밖의 의복 부분이나 비정형 UV 맵의 경우, 균일한 확장은 의복 상에서 균일한 영역을 현실적인 패턴 또는 셀로 분할하고 이를 확장하여 UV 맵을 채웁니다.또한, 유사성-다양성 확장 전략(similarity-diversity expansion strategy)이 제안되었습니다. 이는 사람 이미지를 클러스터링하고 각 클러스터당 이미지를 샘플링하여 3D 캐릭터 생성에 사용되는 의상을 복제하는 방식입니다. 이를 통해 가상 사람은 시각적 유사성을 유지하면서 모델 학습을 도전적으로 만들 수 있으며, 인구 다양성을 통해 샘플 분포를 풍부하게 할 수 있습니다.마지막으로, Unity3D 장면에서 복제된 캐릭터를 렌더링하여 ClonedPerson이라고 불리는 더 현실적인 가상 데이터셋이 생성되었습니다. 이 데이터셋에는 5,621명의 식별자와 887,766개의 이미지가 포함되어 있습니다. 실험 결과는 ClonedPerson에서 학습된 모델이 다른 인기 있는 실제 세계 및 합성 사람 재식별 데이터셋에서 학습된 모델보다 더 우수한 일반화 성능을 보임을 확인하였습니다. ClonedPerson 프로젝트는 https://github.com/Yanan-Wang-cs/ClonedPerson 에서 이용 가능합니다.