11일 전

Transformer 트래킹

Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang, Huchuan Lu
Transformer 트래킹
초록

상관관계(correlation)는 최근 인기 있는 사미즈(Siamese) 기반 추적기에서 특히 중요한 역할을 한다. 상관관계 연산은 템플릿과 탐색 영역 간의 유사성을 고려하는 간단한 특성 융합 방식이다. 그러나 상관관계 연산 자체는 국소적인 선형 매칭 과정에 불과하여 의미 정보를 상실하거나 쉽게 국소 최적해에 빠지기 쉽다는 단점이 있으며, 이는 고정밀 추적 알고리즘 설계의 한계로 작용할 수 있다. 상관관계보다 더 우수한 특성 융합 방법은 존재할까? 이러한 문제를 해결하기 위해 트랜스포머(Transformer)의 아이디어를 영감으로 삼아, 본 연구는 주의(attention)를 단독으로 사용하여 템플릿과 탐색 영역의 특성을 효과적으로 융합하는 새로운 주의 기반 특성 융합 네트워크를 제안한다. 구체적으로 제안된 방법은 자기주의(self-attention) 기반의 에고-컨텍스트 증강 모듈과 교차주의(cross-attention) 기반의 크로스-특성 증강 모듈을 포함한다. 마지막으로, 사미즈 유사 특성 추출 백본, 설계된 주의 기반 융합 메커니즘, 그리고 분류 및 회귀 헤드를 기반으로 한 트랜스포머 기반 추적기(이름은 TransT)를 제안한다. 실험 결과, TransT는 여섯 개의 도전적인 데이터셋에서 매우 희망적인 성능을 보였으며, 특히 대규모 LaSOT, TrackingNet, GOT-10k 벤치마크에서 뛰어난 성능을 기록했다. 본 추적기는 GPU 기준 약 50 fps의 속도로 실행 가능하다. 코드와 모델은 https://github.com/chenxin-dlut/TransT 에서 공개되어 있다.

Transformer 트래킹 | 최신 연구 논문 | HyperAI초신경