시간에 따른 적응형 RGBT 추적 및 모달리티 프롬프트

RGBT 추적은 로봇공학, 감시 처리, 자율 주행 등 다양한 분야에서 널리 사용되고 있습니다. 기존의 RGBT 추적기는 템플릿과 탐색 영역 간의 공간 정보를 충분히 활용하여 외관 일치 결과에 따라 대상을 위치 결정합니다. 그러나 이러한 RGBT 추적기들은 시간 정보를 매우 제한적으로 활용하거나, 온라인 샘플링 및 학습을 통해 이를 활용하는 경우가 많습니다. 전자는 객체 상태 변화에 대처하기 어려우며, 후자는 공간 정보와 시간 정보 사이의 상관관계를 무시합니다. 이러한 한계를 완화하기 위해 우리는 새로운 시계열 적응형 RGBT 추적 프레임워크인 TATrack(Temporal Adaptive Tracking)을 제안합니다. TATrack은 시공간 두 스트림 구조를 가지고 있으며, 온라인으로 업데이트되는 템플릿을 통해 시간 정보를 포착합니다. 여기서 두 스트림 구조는 초기 템플릿과 온라인 업데이트 템플릿 각각에 대한 다중 모달 특성 추출 및 교차 모달 상호작용을 의미합니다. TATrack은 대상 위치 결정을 위해 시공간 정보와 다중 모달 정보를 포괄적으로 활용하는 데 기여합니다. 또한, 우리는 두 가지 분기를 연결하고 교차 모달 상호작용이 더 긴 시간 범위에 걸쳐 이루어질 수 있도록 하는 시공간 상호작용(STI) 메커니즘을 설계했습니다. 세 가지 인기 있는 RGBT 추적 벤치마크에서 수행된 광범위한 실험 결과, 우리의 방법론이 실시간 속도로 실행하면서 최신 성능을 달성함을 보여주었습니다.