GEFF: 얼굴 특징를 활용한 갤러리 강화를 통한 어떤 옷 변화에도 강건한 사람 ReID 모델 개선

의류 변화 재식별(Clothes-Changing Re-Identification, CC-ReID) 문제에서는, 한 사람의 쿼리 샘플이 주어졌을 때, 해당 사람이 다른 옷을 입고 등장하는 라벨링된 갤러리 내에서 올바른 정체성을 식별하는 것을 목표로 한다. 여러 모델들이 의류에 의존하지 않는 특징을 추출함으로써 이 과제에 도전하고 있으나, 사람의 옷이 동일한 경우에 비해 의류가 변화한 상황에서는 여전히 성능이 낮은 편이다. 일반적으로 데이터 내에서 의류 관련 특징이 주도적인 역할을 하기 때문에, 이러한 특징을 효과적으로 활용하기 위해 새로운 프로세스인 갤러리 풍부화(Gallery Enrichment)를 제안한다. 본 프로세스에서는 쿼리 샘플의 얼굴 특징을 기반으로 비지도 학습 알고리즘을 사용하여 원래 갤러리에 새로운 샘플을 추가함으로써 갤러리를 풍부화한다. 또한, 재식별(ReID) 모듈과 얼굴 특징 추출 모듈을 풍부화된 갤러리와 결합함으로써, 얼굴이 포함되지 않은 새로운 옷을 입은 쿼리 샘플에 대해서도 더 정확한 ReID 모델을 구축할 수 있음을 보여준다. 더불어 기존의 CC-ReID 벤치마크들이 실제 환경을 충분히 반영하지 못하고 있음을 지적하고, 혼잡한 장면과 다수의 의류 변화가 포함된 연극을 기반으로 한 새로운 영상 기반 CC-ReID 데이터셋인 42Street을 제안한다. 다양한 ReID 모델에 적용했을 때, 제안하는 방법(GEFF)은 PRCC 및 LTCC 벤치마크에서 의류 변화 상황에 대한 Top-1 정확도에서 평균 33.5%와 6.7%의 향상을 달성한다. 최신 ReID 모델과 결합할 경우, PRCC, LTCC, CCVID, LaST, VC-Clothes 벤치마크 및 제안한 42Street 데이터셋에서 새로운 최고 성능(SOTA)을 달성한다.