RGBT 추적에서 모달리티 간극 극복: 결합된 지식 전달

RGB와 열적외선(TIR) 이미지 간의 모달리티 간극은 중요한 문제이지만, 기존의 RGBT 추적 방법에서 종종 간과되고 있습니다. 이 모달리티 간극은 주로 이미지 스타일 차이에 있다고 관찰할 수 있습니다. 본 연구에서는 이러한 모달리티 간극을 극복하여 고성능 RGBT 추적을 실현하기 위해 새로운 결합 지식 전달(Coupled Knowledge Distillation, CKD) 프레임워크를 제안합니다. 특히, 두 개의 학생 네트워크를 도입하고 스타일 전달 손실(style distillation loss)을 사용하여 가능한 한 그들의 스타일 특성을 일치시키는 방법을 제시합니다. 두 학생 네트워크의 스타일 차이를 완화함으로써, 우리는 다른 모달리티 간의 모달리티 간극을 효과적으로 극복할 수 있습니다. 그러나, 스타일 특성의 전달은 학생 네트워크에서 두 모달리티의 콘텐츠 표현(content representations)에 해를 끼칠 수 있습니다. 이를 해결하기 위해, 원래의 RGB와 TIR 네트워크를 교사로 사용하고, 스타일-콘텐츠 직교 특성 분리를 통해 각각 두 학생 네트워크에 교사의 콘텐츠 지식을 전달합니다. 우리는 위의 두 가지 전달 과정을 온라인 최적화 프레임워크에서 결합하여 모달리티 간극이 없는 새로운 RGB와 열적외선 특성 표현을 생성합니다. 또한, 추적 로버스트성과 효율성을 각각 향상시키기 위해 CKD에 마스킹된 모델링 전략과 다중모드 후보 토큰 제거 전략을 설계했습니다. 다섯 개의 표준 RGBT 추적 데이터셋에 대한 광범위한 실험 결과, 제안된 방법이 최신 기술들과 비교해 효과적이며 96.4 FPS라는 가장 빠른 추적 속도를 달성하는 것을 확인하였습니다. 코드는 https://github.com/Multi-Modality-Tracking/CKD 에서 제공됩니다.