STMTrack: 시공간 메모리 네트워크를 이용한 템플릿 없는 시각 추적

오프라인 학습된 시아메즈 추적기의 성능 향상은 최근에 더욱 어려워지고 있습니다. 이는 첫 프레임에서 추출된 템플릿의 고정된 정보가 거의 완전히 활용되었기 때문입니다. 그러나 이러한 추적기는 대상의 외관 변화에 대한 저항력이 부족합니다. 기존의 템플릿 업데이트 메커니즘을 가진 추적기는 경쟁력 있는 성능을 달성하기 위해 시간이 많이 소요되는 수치 최적화와 복잡한 수작업 설계 전략에 의존하고 있어 실시간 추적과 실제 응용 분야에서 제약을 받고 있습니다.본 논문에서는 대상과 관련된 역사적인 정보를 충분히 활용하여 추적 중 발생하는 외관 변동에 더 잘 적응할 수 있는 새로운 추적 프레임워크를 제안합니다. 이 프레임워크는 시공간 메모리 네트워크 위에 구축되었습니다. 특히, 새로운 메모리 메커니즘이 도입되어 대상의 역사적인 정보를 저장하여 트래커가 현재 프레임에서 가장 유익한 영역에 집중하도록 안내합니다. 또한, 메모리 네트워크의 픽셀 단위 유사도 계산은 우리의 트래커가 대상의 바운딩 박스를 훨씬 정확하게 생성할 수 있게 합니다.OTB-2015, TrackingNet, GOT-10k, LaSOT, UAV123, VOT2018 등 도전적인 대규모 벤치마크에서 많은 경쟁력 있는 추적기들과 광범위한 실험 및 비교를 수행한 결과, 우리 트래커는 복잡한 추가 기법 없이도 모든 이전 최신 실시간 방법보다 우수한 성능을 보이며 37 FPS로 실행됩니다. 코드는 https://github.com/fzh0917/STMTrack에서 제공됩니다.