AFter: 주의 기반 융합 라우터를 이용한 RGBT 추적

RGBT 추적에서 다중 모달 특성 융합은 핵심 조사 요소로, 최근 몇 년 동안 많은 융합 연구가 이루어졌습니다. 그러나 기존의 RGBT 추적 방법들은 다양한 동적 시나리오에서 발생하는 여러 도전 과제를 처리하기 어려운 고정된 융합 구조를 널리 채택하고 있습니다. 이 문제를 해결하기 위해 본 연구에서는 강건한 RGBT 추적을 위해 동적 도전적인 시나리오에 적응할 수 있는 융합 구조를 최적화하는 새로운 \emph{A}ttention-based \emph{F}usion rou\emph{ter}인 AFter를 제시합니다. 특히, 계층적 주의 네트워크를 기반으로 한 융합 구조 공간을 설계하였으며, 각 주의 기반 융합 유닛은 하나의 융합 연산에 대응하고 이러한 주의 유닛들의 조합은 하나의 융合 구조에 대응합니다. 주의 기반 융합 유닛들의 조합을 최적화함으로써 우리는 다양한 도전적인 시나리오에 적응할 수 있는 융합 구조를 동적으로 선택할 수 있습니다. 신경망 아키텍처 검색 알고리즘에서 복잡한 구조 탐색과 달리, 우리는 각 주의 기반 융합 유닛에 라우터를 부착하여 효율적인 융합 구조 최적화를 위한 조합 가중치를 예측하는 동적 라우팅 알고리즘을 개발하였습니다. 5개의 주요 RGBT 추적 데이터셋에서 수행된 광범위한 실험 결과는 제안된 AFter가 최신 RGBT 추적기들보다 우수한 성능을 보임을 입증하였습니다. 코드는 https://github.com/Alexadlu/AFter 에 공개되었습니다.