RGB-T 추적을 위한 검색 영역 상호작용과 템플릿의 연결

RGB-T 추적은 다양한 시나리오에서 추적 과정을 향상시키기 위해 RGB와 적외선(TIR) 모달 간의 상호 보완 및 상호 강화 능력을 활용하는 것을 목표로 하며, 이 과정에서 다모달 상호작용이 핵심 요소가 된다. 기존의 일부 방법들은 RGB와 TIR 탐색 영역 특징을 직접 연결하여 거친 상호작용을 수행하지만, 이 과정에서 배경 잡음이 중복되어 포함되며, 정확도에 부정적인 영향을 미친다. 또 다른 많은 방법들은 탐색 프레임에서 후보 박스를 추출하고 RGB 및 TIR 박스의 고립된 쌍에 대해 다양한 융합 기법을 적용하지만, 이러한 접근은 다모달 상호작용을 국소 영역 내로 제한하고 충분한 맥락 모델링을 제공하지 못한다. 이러한 한계를 완화하기 위해 우리는 새로운 템플릿 브리지드 검색 영역 상호작용(Template-Bridged Search region Interaction, TBSI) 모듈을 제안한다. 이 모듈은 템플릿을 매개체로 삼아 RGB와 TIR 검색 영역 간의 다모달 상호작용을 촉진하며, 타겟과 관련된 객체 및 환경 맥락을 수집하고 분배함으로써 상호작용의 정밀도를 높인다. 또한, 템플릿 매개체를 통해 풍부한 다모달 맥락 정보를 반영하여 원본 템플릿도 업데이트된다. 본 TBSI 모듈은 ViT 기반 아키텍처에 삽입되어 공동 특징 추출, 검색-템플릿 매칭, 그리고 다모달 상호작용을 통합적으로 수행한다. 세 가지 인기 있는 RGB-T 추적 벤치마크에서 실시한 광범위한 실험 결과, 제안한 방법이 새로운 최고 성능을 달성함을 입증하였다. 코드는 다음 주소에서 확인 가능하다: https://github.com/RyanHTR/TBSI.