Cross Fusion RGB-T 추적에 대한 양방향 어댑터

최근의 최첨단 RGB-T 추적기들은 모달리티 융합을 통해 뛰어난 성과를 거두었습니다. 그러나 이러한 추적기들은 종종 시간 정보를 간과하거나 완전히 활용하지 못하여, 다중 모달리티와 시간 정보 사이의 효과적인 균형을 이루지 못하는 경우가 많습니다. 이 문제를 해결하기 위해, 우리는 다중 모달리티의 완전한 참여를 보장하면서 시간 정보를 동적으로 융합하는 새로운 크로스 융합 RGB-T 추적 아키텍처(CFBT)를 제안합니다. CFBT의 효과성은 세 가지 새로 설계된 크로스 시공간 정보 융합 모듈에 기반합니다: 크로스 시공간 증강 융합(CSTAF, Cross Spatio-Temporal Augmentation Fusion), 크로스 시공간 보완성 융합(CSTCF, Cross Spatio-Temporal Complementarity Fusion), 그리고 듀얼 스트림 시공간 어댑터(DSTA, Dual-Stream Spatio-Temporal Adapter). CSTAF는 크로스 어텐션 메커니즘을 사용하여 템플릿의 특징 표현을 전반적으로 강화합니다. CSTCF는 다른 브랜치들 사이의 보완 정보를 활용하여 타겟 특징을 강화하고 배경 특징을 억제합니다. DSTA는 어댑터 개념을 도입하여 트랜스포머 계층 내에서 여러 브랜치들의 보완 정보를 적응적으로 융합하며, RGB 모달리티를 매개체로 사용합니다. 이러한 창의적인 다각도의 융합은 전체 모달 파라미터의 0.3% 미만만 추가하지만, 다중 모달리티와 시간 정보 사이의 효율적인 균형을 실현할 수 있게 합니다. 세 가지 인기 있는 RGB-T 추적 벤치마크에서 수행된 광범위한 실험 결과, 우리의 방법이 새로운 최고 수준의 성능을 달성함을 입증하였습니다.