
RGB-T 추적은 객체 추적의 중요한 하위 작업으로, 최근 몇 년 동안 상당한 발전을 이룩하였습니다. 그러나 여전히 두 가지 주요 과제로 인해 제약을 받고 있습니다: 1) 성능과 효율성 사이의 균형; 2) 훈련 데이터의 부족. 이러한 후자의 과제를 해결하기 위해, 일부 최신 방법에서는 프롬프트를 사용하여 사전 훈련된 RGB 추적 모델을 미세 조정하고, 매개변수 효율적인 방식으로 상류 지식을 활용합니다. 그러나 이러한 방법들은 모달리티 독립적인 패턴에 대한 충분한 탐색이 이루어지지 않으며, 개방된 시나리오에서 다양한 모달리티의 동적 신뢰성을 무시하고 있습니다.우리는 이러한 과제들을 극복하기 위해 M3PT라는 새로운 RGB-T 프롬프트 추적 방법을 제안합니다. M3PT는 중간 융합 및 다중 모달리티와 다단계 시각 프롬프트를 활용하는 방법입니다. 우리는 RGB-T 추적에 조절 가능한 중간 융합 메타프레임워크의 사용을 선도적으로 도입하였습니다. 이 메타프레임워크는 트래커가 성능과 효율성 사이의 균형을 맞추어 다양한 응용 요구사항을 충족시키는 데 도움이 될 수 있습니다. 또한, 이 메타프레임워크를 기반으로 여러 유연한 프롬프트 전략을 사용하여 사전 훈련된 모델을 단일 모달리티 패턴의 포괄적인 탐색과 다양한 모달리티 우선 시나리오에서 융합된 모달리티 특징의 개선된 모델링에 적응시키며, 프롬프트 학습의 잠재력을 RGB-T 추적에 활용합니다.6개의 기존 어려운 벤치마크에서 평가한 결과, 우리의 방법은 이전 최첨단 프롬프트 미세 조정 방법들을 능가하면서도, 단 0.34M의 미세 조정 매개변수로 우수한 전체 매개변수 미세 조정 방법들과 비교해도 뛰어난 경쟁력을 유지하였습니다.