2달 전

해석 가능하고 일반화된 사람 재식별을 위한 쿼리 적응형 컨볼루션과 시간적 리프팅

Liao, Shengcai ; Shao, Ling
해석 가능하고 일반화된 사람 재식별을 위한 쿼리 적응형 컨볼루션과 시간적 리프팅
초록

개인 재식별을 위해 기존의 딥 네트워크는 종종 표현 학습에 중점을 둡니다. 그러나 전이 학습 없이는 학습된 모델이 고정되어 있어 다양한 미확인 시나리오를 처리하는 데 적응할 수 없습니다. 본 논문에서는 표현 학습을 넘어서 개인 이미지 매칭을 딥 피처 맵에서 직접 공식화하는 방법을 고려합니다. 우리는 이미지 매칭을 피처 맵에서의 국소 대응 관계 찾기로 취급하며, 이를 통해 국소 매칭을 달성하기 위해 실시간으로 쿼리 적응형 컨볼루션 커널(query-adaptive convolution kernels)을 구성합니다. 이러한 방식으로 매칭 과정과 결과가 해석 가능하며, 이 명시적인 매칭은 표현 특징보다 미확인 시나리오(예: 알려지지 않은 오프셋, 자세 또는 시점 변화)에 대해 더 일반화될 수 있습니다.본 구조의 엔드투엔드(end-to-end) 훈련을 용이하게 하기 위해, 각 클래스의 가장 최근 샘플들의 피처 맵을 캐싱(cache)하여 메트릭 학습용 이미지 매칭 손실(image matching losses)을 계산할 수 있는 클래스 메모리 모듈(class memory module)을 추가로 구축했습니다. 직접적인 크로스 데이터셋 평가를 통해 제안된 쿼리 적응형 컨볼루션(QAConv) 방법은 인기 있는 학습 방법들(약 10% 이상 mAP 증가)보다 크게 개선되었으며, 많은 전이 학습 방법들과 유사한 결과를 달성하였습니다. 또한 모델 없는 시간적 동시 발생 기반 점수 가중법(TLift)이 제안되어 성능을 더욱 향상시키며, 크로스 데이터셋 개인 재식별에서 최신 연구 결과(state-of-the-art results)를 달성하였습니다. 코드는 https://github.com/ShengcaiLiao/QAConv에서 제공됩니다.

해석 가능하고 일반화된 사람 재식별을 위한 쿼리 적응형 컨볼루션과 시간적 리프팅 | 최신 연구 논문 | HyperAI초신경