AiATrack: 주의력의 주의력 변환기 시각 추적

트랜스포머 추적기들은 최근에 주목할 만한 발전을 이룩하였으며, 여기서 어텐션 메커니즘이 중요한 역할을 합니다. 그러나 어텐션 메커니즘에서 독립적으로 이루어지는 상관관계 계산은 노이즈와 모호한 어텐션 가중치를 초래할 수 있어, 성능 향상을 저해합니다. 이러한 문제를 해결하기 위해, 우리는 모든 상관 벡터들 사이의 합의를 찾아 적절한 상관관계를 강화하고 잘못된 상관관계를 억제하는 '어텐션 안의 어텐션(AiA)' 모듈을 제안합니다. 우리의 AiA 모듈은 자기-어텐션 블록과 교차-어텐션 블록 모두에 쉽게 적용될 수 있어, 시각 추적을 위한 특징 집합과 정보 전달을 촉진합니다. 또한, 우리는 효율적인 특징 재사용과 대상-배경 임베딩을 도입하여 시간적 참조를 최대한 활용하는 간소화된 트랜스포머 추적 프레임워크인 AiATrack을 제안합니다. 실험 결과, 우리의 추적기는 6개의 추적 벤치마크에서 실시간 속도로 동작하면서 최고 수준의 성능을 달성하였습니다.