초록
가시광과 열화상의 융합을 기반으로 하는 객체 추적, 즉 RGB-T 추적은 최근 몇 년 동안 연구자들로부터 점점 더 많은 관심을 받고 있습니다. 두 모달에서 정보를 보다 포괄적으로 융합하면서도 계산 비용을 최소화하는 방법은 연구자들이 탐구해온 문제였습니다. 최근 컴퓨터 비전 분야에서 프롬프트 학습의 부상으로 인해, 우리는 시각적인 대형 모델에서 하류 작업으로 지식을 더 효과적으로 전송할 수 있게 되었습니다. 가시광과 열화상 모달 간의 강한 상호 보완성을 고려하여, 우리는 두 모달 간의 상호 프롬프트 학습을 기반으로 하는 추적 아키텍처를 제안합니다. 또한, 2차원에 걸친 주의 메커니즘을 통합하여 한 모달에서 다른 모달로 정보를 전송하면서 낮은 계산 비용을 유지할 수 있는 경량 프롬프터를 설계하여 백본의 각 레이어에 내장했습니다. 광범위한 실험 결과는 우리가 제안한 추적 아키텍처가 효과적이며 효율적이며, 높은 실행 속도를 유지하면서 최신 수준의 성능을 달성함을 입증하였습니다.