시공간 트랜스포머를 활용한 적응형 추적을 위한 자기회귀 쿼리

시공간 정보는 시각 추적에서 복잡한 대상 외형 변화를 포착하는 데 있어 핵심적인 역할을 한다. 그러나 대부분의 최고 성능을 발휘하는 추적 알고리즘은 시공간 정보를 집약하기 위해 수많은 수작업으로 설계된 구성 요소에 의존하고 있다. 그 결과, 시공간 정보는 여전히 충분히 탐색되지 못한 상태이다. 이러한 문제를 완화하기 위해, 우리는 단순한 자기회귀(query)를 활용하여 수많은 수작업 구성 요소 없이도 효과적으로 시공간 정보를 학습할 수 있는 적응형 추적기(이름은 AQATrack)를 제안한다. 먼저, 슬라이딩 윈도우 방식으로 순간적인 대상 외형 변화를 포착하기 위해 학습 가능한 자기회귀 쿼리를 도입한다. 다음으로, 기존 쿼리 간의 상호작용을 위한 새로운 주목(attention) 메커니즘을 설계하여 현재 프레임에서 새로운 쿼리를 생성한다. 마지막으로, 초기 대상 템플릿과 학습된 자기회귀 쿼리를 기반으로, 시공간 정보 융합 모듈(Spatio-Temporal Memory, STM)을 설계하여 시공간 정보를 통합적으로 집약함으로써 대상 객체의 위치를 정확히 추적한다. STM의 도움을 받아 정적 외형과 순간적인 변화를 효과적으로 결합함으로써 강건한 추적을 가능하게 한다. 광범위한 실험 결과는 본 방법이 라소트(LaSOT), 라소텍스트(LaSOText), 트래킹넷(TrackingNet), GOT-10k, TNL2K, UAV123 등 6개의 대표적 추적 벤치마크에서 추적 성능을 상당히 향상시킴을 보여준다.