개인 재식별을 위한 차별적 및 생성적 학습의 결합

개인 재식별(re-id)은 다른 카메라 간에 큰 클래스 내 변동성(intra-class variation)이 존재하기 때문에 여전히 어려운 문제입니다. 최근에는 생성 모델을 사용하여 훈련 데이터를 확장하고 입력 변화에 대한 불변성을 강화하는 데 대한 관심이 증가하고 있습니다. 그러나 기존 방법의 생성 파이프라인은 차별적 재식별 학습 단계와 비교적 독립적으로 유지되고 있습니다. 따라서, 재식별 모델은 종종 생성된 데이터에서 직선적으로 훈련됩니다. 본 논문에서는 생성된 데이터를 더 효과적으로 활용하여 학습된 재식별 임베딩(embedding)을 개선하려고 합니다. 이를 위해, 재식별 학습과 데이터 생성을 end-to-end로 결합한 공동 학습 프레임워크를 제안합니다. 제안된 모델은 각 개인을 외관 코드(appearance code)와 구조 코드(structure code)로 별도로 인코딩하는 생성 모듈과, 생성 모듈과 외관 인코더를 공유하는 차별적 모듈로 구성됩니다. 외관 코드나 구조 코드를 교체함으로써, 생성 모듈은 고품질의 크로스-ID 조합 이미지를 생성할 수 있으며, 이는 온라인으로 외관 인코더에 피드백되어 차별적 모듈의 성능 개선에 이용됩니다. 제안된 공동 학습 프레임워크는 생성된 데이터를 사용하지 않는 베이스라인보다 상당한 개선을 보여주며, 여러 벤치마크 데이터셋에서 최신 성능(state-of-the-art performance)을 달성하였습니다.