8일 전

사전 훈련된 확산 모델의 잠재력을 극대화하여 일반화 가능한 개인 재식별 구현하기

Jiachen Li, Xiaojin Gong
사전 훈련된 확산 모델의 잠재력을 극대화하여 일반화 가능한 개인 재식별 구현하기
초록

도메인 일반화 가능한 재식별(Domain-generalizable re-identification, DG Re-ID)은 하나 이상의 소스 도메인에서 모델을 학습하고, 미리 보지 못한 타겟 도메인에서 성능을 평가하는 것을 목표로 하며, 실용적 의미가 크기 때문에 점점 더 많은 관심을 받고 있다. 여러 가지 방법이 제안되었지만, 대부분은 일반화 가능한 특징 표현을 학습하기 위해 구분 학습(discriminative) 또는 대조 학습(contrastive) 프레임워크에 의존하고 있다. 그러나 이러한 접근 방식은 종종 단순화된 학습(shortcut learning)을 완화하지 못해 최적의 성능을 내지 못하는 경우가 있다. 본 연구에서는 도메인 일반화 가능한 재식별 성능을 향상시키기 위해, 상관관계 인지 조건부 조절 방식(Correlation-aware Conditioning Scheme)을 갖춘 확산 모델 기반 표현 학습(Diffusion Model-assisted Representation Learning, DCAC)이라는 새로운 방법을 제안한다. 제안하는 방법은 사전 훈련된 확산 모델과 구분 및 대조 기반 재식별 모델을 상관관계 인지 조건부 조절 방식을 통해 통합한다. 재식별 모델에서 생성된 ID 분류 확률과 학습 가능한 ID별 프롬프트 세트를 결합함으로써, 조건부 조절 방식은 ID 간의 상관관계를 포착하는 '어두운 지식(Dark Knowledge)'을 확산 과정에 주입한다. 동시에 확산 모델의 피드백은 조건부 조절 방식을 통해 재식별 모델로 역전파되며, 이는 재식별 특징의 일반화 능력을 효과적으로 향상시킨다. 단일 소스 및 다중 소스 DG Re-ID 작업에 대한 광범위한 실험을 통해 제안한 방법이 최첨단 성능을 달성함을 입증하였다. 체계적인 아블레이션 연구를 통해 제안된 방법의 효과성과 강건성을 추가로 검증하였으며, 그 기초에 대한 통찰을 제공한다. 코드는 https://github.com/RikoLi/DCAC 에 공개될 예정이다.

사전 훈련된 확산 모델의 잠재력을 극대화하여 일반화 가능한 개인 재식별 구현하기 | 최신 연구 논문 | HyperAI초신경