RGBT 추적을 위한 교차 조절 주의 변환기

기존의 트랜스포머 기반 RGBT 추적기는 자기 주의(self-attention)를 활용하여 단일 모달 특징을 추출하고, 교차 주의(cross-attention)를 통해 다중 모달 특징 상호작용과 템플릿-검색 상관관계 계산을 강화함으로써 뛰어난 성능 혜택을 얻고 있습니다. 그러나 독립적인 검색-템플릿 상관관계 계산은 분기 간 일관성을 무시하므로, 이는 모호하고 부적절한 상관관계 가중치를 초래할 수 있습니다. 이는 단일 모달 특징 표현을 제한하는 데만 그치지 않고, 다중 모달 특징 상호작용과 검색-템플릿 상관관계 계산에 대한 교차 주의의 견고성을 해칩니다. 이러한 문제들을 해결하기 위해, 우리는 Cross-modulated Attention Transformer(CAFormer)라는 새로운 접근법을 제안합니다. CAFormer는 통합된 주의 모델에서 단일 모달 내 자기 상관 관계, 다중 모달 간 특징 상호작용, 그리고 검색-템플릿 상관관계 계산을 수행하여 RGBT 추적에 적용됩니다. 특히, 각 모달에 대해 먼저 독립적으로 상관 맵을 생성하고 이를 설계된 Correlation Modulated Enhancement(상관 조정 강화) 모듈로 입력하여, 모달 간 합의를 찾아 부정확한 상관 관계 가중치를 조정합니다. 이러한 설계는 자기 주의와 교차 주의 방식을 통합하여, 자기 주의에서 발생하는 부정확한 주의 가중치 계산을 완화하고 추가적인 교차 주의 방식으로 인해 발생하는 불필요한 계산을 제거합니다. 또한, 우리는 추적 추론 효율성과 정확도를 더욱 개선하기 위한 협력적인 토큰 제거 전략을 제안합니다. 다섯 개의 공개 RGBT 추적 벤치마크에서 실시된 광범위한 실험들은 제안된 CAFormer가 최신 방법들과 비교하여 우수한 성능을 보임을 입증하였습니다.