초록
가시광과 열적외선 모달리티의 보완적인 특성 때문에, 가시광 이미지와 열 이미지를 융합한 객체 추적(RGB-T 추적)은 최근 몇 년 동안 연구자들로부터 점점 더 많은 관심을 받고 있습니다. 두 모달리티에서 정보를 보다 포괄적으로 융합하면서도 낮은 비용으로 이를 실현하는 방법은 연구자들이 탐구해온 주요 이슈였습니다. 시각 프롬프트 학습에서 영감을 얻어, 우리는 크로스-모달 상호 프롬프트 학습을 기반으로 한 새로운 두 스트림 RGB-T 추적 아키텍처를 설계하였으며, 이 모델을 선생님 모델로 사용하여 지식 증류 기술을 통해 단일 스트림 학생 모델이 빠르게 학습할 수 있도록 안내하였습니다. 광범위한 실험 결과에 따르면, 유사한 RGB-T 추적기들과 비교하여 우리가 설계한 선생님 모델은 가장 높은 정밀도를 달성하였으며, 학생 모델은 선생님 모델과 유사한 정밀도를 유지하면서도 3배 이상 빠른 추론 속도를 실현하였습니다(코드는 승인 시 제공될 예정입니다).