RGBT 추적을 위한 계층적 발산 손실을 사용한 다중 어댑터 네트워크

RGB 및 열적외선(RGBT) 추적이 RGB와 열적외선 데이터가 강한 보완적인 장점을 가지고 있어, 추적기를 24시간 전날씨 조건에서 작동할 수 있게 함에 따라 점차 주목을 받고 있습니다. 그러나 시각 추적을 위해 RGBT 데이터를 효과적으로 표현하는 방법은 아직 충분히 연구되지 않았습니다. 기존 연구들은 대부분 모달리티 공유 정보나 모달리티 특이 정보를 추출하는 데 초점을 맞추었지만, 이 두 가지 힌트의 잠재력은 RGBT 추적에서 충분히 탐구되고 활용되지 않았습니다.본 논문에서는 RGBT 추적을 위해 모달리티 공유, 모달리티 특이 및 인스턴스 인식 대상 표현 학습을 공동으로 수행하는 새로운 다중 어댑터 네트워크를 제안합니다. 이를 위해 엔드투엔드 딥러닝 프레임워크 내에서 세 가지 유형의 어댑터를 설계하였습니다. 구체적으로, 수정된 VGG-M을 일반성 어댑터로 사용하여 모달리티 공유 대상 표현을 추출합니다. 모달리티 특이 특징을 추출하면서 계산 복잡도를 줄이기 위해, 각 층과 각 모달리티에 병렬로 작은 블록을 추가하는 방식의 모달리티 어댑터를 설계하였습니다. 이러한 설계는 대부분의 매개변수가 일반성 어댑터와 공유되기 때문에 적은 수의 매개변수로 여러 단계의 모달리티 특이 표현을 학습할 수 있습니다. 또한 특정 대상의 외관 속성과 시간 변화를 포착하기 위해 인스턴스 어댑터를 설계하였습니다.또한, 공유 및 특이 특징을 강화하기 위해, 다양한 모달 특징 분포 차이를 측정하기 위한 다중 커널 최대 평균 분산(Multiple Kernel Maximum Mean Discrepancy) 손실 함수를 사용하여 각 층에 통합하였습니다. 이렇게 하면 더 견고한 표현 학습이 가능합니다. 두 개의 RGBT 추적 벤치마크 데이터셋에서 수행된 광범위한 실험 결과, 제안된 트래커가 최신 방법론들보다 우수한 성능을 보임을 입증하였습니다.